CN113196197A - 使用有效载荷组件执行实时地图构建的可移动物体 - Google Patents

使用有效载荷组件执行实时地图构建的可移动物体 Download PDF

Info

Publication number
CN113196197A
CN113196197A CN201980071197.9A CN201980071197A CN113196197A CN 113196197 A CN113196197 A CN 113196197A CN 201980071197 A CN201980071197 A CN 201980071197A CN 113196197 A CN113196197 A CN 113196197A
Authority
CN
China
Prior art keywords
sensor
payload
data
positioning
uav
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980071197.9A
Other languages
English (en)
Inventor
乔舒亚·阿科斯塔
刘军利
刘煜程
阿尔琼·苏库马尔·梅农
费尔南多·巴勃罗·克韦多
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Priority claimed from PCT/CN2019/113725 external-priority patent/WO2020088414A1/en
Publication of CN113196197A publication Critical patent/CN113196197A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/51—Display arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G01C11/025—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures by scanning the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C23/00—Combined instruments indicating more than one navigational value, e.g. for aircraft; Combined measuring devices for measuring two or more variables of movement, e.g. distance, speed or acceleration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4811—Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • G01S7/4813—Housing arrangements
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0038—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0094—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Abstract

公开了用于在可移动物体环境中进行实时地图构建的技术。一种实时地图构建系统可以至少包括无人飞行器(UAV)，该无人飞行器包括推进系统、联接到推进系统的主体和经由有效载荷端口联接到主体的有效载荷组件，其中，有效载荷组件被配置成联接到有效载荷端口并且支撑扫描传感器和定位传感器。

Description

使用有效载荷组件执行实时地图构建的可移动物体
著作权声明
本专利文件的公开内容的一部分包含受版权保护的材料。因为出现在专利商标局的专利文件或记录中，版权所有者不反对任何人对专利文件或专利公开内容的传真复制，但在其它方面保留所有版权。
相关申请的交叉引用
本申请要求国际申请No.PCT/US19/58218、国际申请No.PCT/US19/58219和美国非临时申请No.16/664,743的优先权，这些申请中的每一个均提交于2019年10月25日，并且本申请要求提交于2018年10月29日的美国临时申请No.62/752,273的优先权，这些申请中的每一个的公开内容均通过引用整体并入本文。
技术领域
所公开的实施例一般涉及用于地图构建的技术，并且更具体地但非排他地涉及用于执行实时地图构建的可移动物体。
背景技术
诸如无人飞行器(UAV)的可移动物体可以用于执行各种应用的监视、侦察和勘探任务。可移动物体可以包括具有各种传感器的有效载荷，该有效载荷使得可移动物体能够在可移动物体的移动期间捕获传感器数据。所捕获的传感器数据可以被呈现到用于显示的客户端装置，例如经由遥控器、远程服务器或其它计算装置与可移动物体相连通的客户端装置。
发明内容
公开了用于在可移动物体环境中进行实时地图构建的技术。一种实时地图构建系统可以至少包括无人飞行器(UAV)。UAV包括推进系统、联接到推进系统的主体，以及经由有效载荷端口联接到主体的有效载荷组件。有效载荷组件被配置成联接到有效载荷端口并且支撑扫描传感器和定位传感器。
附图说明
图1示出了根据各种实施例的可移动物体环境中的可移动物体的示例。
图2示出了根据各种实施例的可移动物体环境中的可移动物体架构的示例。
图3示出了根据各种实施例的可移动物体环境中的地图构建管理器的示例。
图4A和图4B示出了根据各种实施例的分层数据结构的示例。
图5A和图5B示出了根据各种实施例的地图构建数据中的异常值移除的示例。
图6示出了根据各种实施例的地图构建数据中的强度值的示例。
图7示出了根据各种实施例的在软件开发环境中支持可移动物体接口的示例。
图8示出了根据各种实施例的可移动物体接口的示例。
图9示出了根据各种实施例的软件开发工具包(SDK)中的可移动物体的部件的示例。
图10示出了根据各种实施例的可移动物体环境中的目标地图构建的方法的流程图。
图11示出了根据实施例的用于执行实时地图构建的可移动物体的等距视图。
图12示出了根据各种实施例的联接到可移动物体的安装组件、有效载荷组件和扫描传感器的正视图。
图13示出了根据实施例的有效载荷组件的等距视图。
图14示出了根据实施例的可替代的有效载荷组件的等距视图。
图15A示出了根据实施例的可调节枢转支架和有效载荷支撑结构的侧视图。
图15B示出了根据实施例的可调节枢转支架和有效载荷支撑结构的等距视图。
图16至图18示出了根据各种实施例的经由有效载荷组件联接到可移动物体的扫描传感器的成角度的位置的示例。
图19示出了根据各种实施例的可以在有效载荷组件上实现的示例性部件，该有效载荷组件联接到由可移动物体环境中的可移动物体提供的有效载荷端口。
图20示出了根据实施例的可移动物体环境的示例性信号图。
图21示出了可以由可以在各种实施例中使用的激光雷达传感器实现的示例性扫描图案。
具体实施方式
在附图中以示例而非限制的方式示出了本发明，在附图中，相同的附图标记表示相似的元件。应当注意，在本发明中对“一”或“一个”或“一些”实施例的引用不一定是指相同的实施例，并且这种引用意味着至少一个。
本发明的以下描述说明了使用可移动物体的目标地图构建。为了简化说明，无人飞行器(UAV)通常用作可移动物体的示例。对于本领域技术人员来说，可以没有限制地使用其它类型的可移动物体是显而易见的。
实施例使得可移动物体能够使用从定位传感器和扫描传感器收集的数据来实时地绘制目标环境。替代实施例可以利用后处理在完成由一个或多个可移动物体执行的一个或多个数据收集任务之后生成地图。例如，各种实施例可以利用扫描匹配技术来绘制复杂的目标环境。实施例可以用于为诸如构建、勘测、目标检查等的各种应用提供基于激光雷达的实时地图构建。可以实时地构建地图，使得地图的版本能够在地图被收集时在客户端装置上呈现，而不是收集要被后处理成目标的地图表示的数据。这种实时呈现可以使得用户能够判断目标环境中的任何区域是否没有被电耦合到可移动物体的扫描传感器扫描。另外，地图的高密度版本可以在地图构建任务期间生成并且在可移动物体返回时下载。在各种实施例中，地图构建管理器可以利用并行计算架构来在可移动物体正在执行其地图构建任务的同时执行实时地图构建。在一些实施例中，可以将地图构建数据输出为激光雷达数据交换文件(LAS)，激光雷达数据交换文件可以被各种工具用来呈现目标环境的地图和/或使用地图构建数据来进行进一步处理、规划等。嵌入LAS输出文件中的元数据可以促进地图与各种第三方工具的集成。在各种实施例中，可以根据用户偏好以各种文件格式输出地图。
在一些实施例中，地图构建管理器可以接收来自扫描传感器(例如，激光雷达传感器或提供目标环境的高分辨率扫描的其它传感器)的地图构建数据，以及来自定位传感器(例如，全球定位系统(GPS)模块、实时动态(RTK)模块、惯性测量单元(IMU)模块或其它定位传感器)的定位数据。地图构建数据可以是使用定位数据来参考地理的，并且用于构建目标环境的地图。实施例客观地地理参考地图构建数据，使得能够不管环境复杂性如何而对各种目标环境进行地图构建。
图1示出了根据各种实施例的可移动物体环境100中的可移动物体的示例。如图1所示，可移动物体环境100中的客户端装置110可以经由通信链路106与可移动物体104通信。可移动物体104可以是无人飞行器、无人载运工具、手持装置和/或机器人。客户端装置110可以是便携式个人计算装置、智能电话、遥控器、可穿戴计算机、虚拟现实/增强现实系统和/或个人计算机。另外，客户端装置110可以包括远程控制器111和通信系统120A，所述通信系统120A负责处理客户端装置110和可移动物体104之间经由通信系统120B的通信。例如，客户端装置110和可移动物体104(例如，无人飞行器)之间的通信可以包括上行链路和下行链路通信。上行链路通信可以用于传输控制信号，下行链路通信可以用于传输媒体或视频流、扫描传感器收集的地图构建数据，或由其它传感器收集的其它传感器数据。
根据各种实施例，通信链路106可以是基于各种无线技术的网络(的一部分)，例如WiFi、蓝牙、3G/4G和其它射频技术。此外，通信链路106可以基于其它计算机网络技术，例如因特网技术，或任何其它有线或无线网络技术。在一些实施例中，通信链路106可以是非网络技术，包括诸如通用串行总线(USB)或通用异步收发器(UART)之类的直接点对点连接。
在各种实施例中，可移动物体环境100中的可移动物体104可以包括有效载荷组件122和有效载荷，该有效载荷包括各种传感器，例如扫描传感器124(例如，激光雷达传感器)。尽管可移动物体104通常被描述为飞行器，但是这不旨在是限制性的，并且可以使用任何合适类型的可移动物体。本领域技术人员将理解，在此描述的飞行器系统的上下文中的任何实施例可以应用于任何合适的可移动物体(例如，UAV)。在一些情况下，无需有效载荷组件，有效载荷就可以设置在可移动物体104上。
根据各种实施例，可移动物体104可以包括一个或多个移动机构116(例如，推进机构)、感测系统118和通信系统120B。移动机构116可以包括旋翼、推进器、桨叶、发动机、马达、轮子、轴、磁体、喷嘴、动物或人中的一个或多个。例如，可移动物体可以具有一个或多个推进机构。移动机构可以全部是相同类型的。可替换地，移动机构可以是不同类型的移动机构。移动机构116可以使用任何合适的装置(例如，支撑元件(例如驱动轴))安装在可移动物体104上(或反之亦然)。移动机构116可以安装在可移动物体104的任何合适的部分上，例如顶部、底部、前部、后部、侧部或这些部分合适的组合。
在一些实施例中，移动机构116可以使可移动物体104能够从表面或陆地垂直地起飞或在表面上垂直地着陆，而不需要可移动物体104的任何水平移动(例如，不沿着跑道行进)。可选地，移动机构116可以是可操作的，以允许可移动物体104在指定的位置和/或定向悬停在空中。例如通过在客户端装置110、计算装置112或与移动机构相连通的其它计算装置上执行的应用，移动机构116中的一个或多个可以独立于其它移动机构而被控制。可替换地，移动机构116可以配置成被同时控制。例如，可移动物体104可以具有多个水平定向的旋翼，旋翼可以向可移动物体提供升力和/或推力。多个水平定向的旋翼可以被致动以向可移动物体104提供垂直起飞能力、垂直着陆能力和悬停能力。在一些实施例中，一个或多个水平定向的旋翼可以沿顺时针方向旋转，同时一个或多个水平定向的旋翼可以沿逆时针方向旋转。例如，顺时针旋翼的数量可以等于逆时针旋翼的数量。每个水平定向的旋翼的旋转速率可以独立地变化，以便控制每个旋翼产生的升力和/或推力，从而调节可移动物体104的空间布局、速度和/或加速度(例如，关于多达三个平移度和多达三个旋转度)。如本文进一步讨论的，诸如飞行控制器114之类的控制器可以向移动机构116发送移动命令以控制可移动物体104的移动。这些移动命令可以基于从客户端装置110、计算装置112或其它实体接收的指令和/或从这些指令导出。
感测系统118可以包括一个或多个传感器，该一个或多个传感器可以感测可移动物体104的空间布局、速度和/或加速度(例如，关于各种平移度和各种旋转度)。该一个或多个传感器可以包括任何传感器，包括GPS传感器、运动传感器、惯性传感器、近距离传感器或图像传感器。例如，由感测系统118提供的感测数据可以用于通过使用合适的处理单元和/或控制模块来控制可移动物体104的空间布局、速度和/或定向。可替换地，感测系统118可以用于提供关于可移动物体周围的环境的数据，例如天气条件、与潜在障碍物的接近度、地理特征的位置、人造结构的位置等。
通信系统120B使得能够经由通信链路106与客户端装置110和通信系统120A通信，该通信链路可以包括如上所述的各种有线和/或无线技术。通信系统120A或120B可以包括适合于无线通信的任何数量的发射器、接收器和/或收发器。通信可以是单向通信，使得数据仅可以在一个方向上发送。例如，单向通信可以仅涉及可移动物体104向客户端装置110发送数据，反之亦然。数据可以从可移动物体104的通信系统120B的一个或多个发射器传输到客户端装置110的通信系统120A的一个或多个接收器，反之亦然。可替换地，通信可以是双向通信，使得数据在可移动物体104和客户端装置110之间的两个方向上均可以传输。双向通信可以涉及从可移动物体104的通信系统120B的一个或多个发射器向客户端装置110的通信系统120A的一个或多个接收器发送数据，以及从客户端装置110的通信系统120A的一个或多个发射器向可移动物体104的通信系统120B的一个或多个接收器发送数据。
在一些实施例中，客户端装置110可以通过通信链路106的透明传输通道与装设在计算装置112上的地图构建管理器126通信。透明传输通道可以通过可移动物体的飞行控制器来提供，飞行控制器允许数据未改变地(例如，“透明地”)穿设到计算装置112上的地图构建管理器或其它应用。在一些实施例中，地图构建管理器126可以利用软件开发工具包(SDK)、应用编程接口(API)或由可移动物体、计算装置、扫描传感器124等提供的其它接口。在各种实施例中，地图构建管理器可以由可移动物体104上的一个或多个处理器(例如，飞行控制器114或其它处理器)、计算装置112、远程控制器111、客户端装置110或与可移动物体104相连通的其它计算装置来实现。在一些实施例中，地图构建管理器126可以被实现为在客户端装置110、计算装置112或与可移动物体104相连通的其它计算装置上执行的应用。
在一些实施例中，在客户端装置110或计算装置112上执行的应用可以向可移动物体104、有效载荷组件122和有效载荷124中的一个或多个提供控制数据，并且从可移动物体104、有效载荷组件122和有效载荷124中的一个或多个接收信息(例如，可移动物体、有效载荷组件或有效载荷的位置和/或运动信息；由有效载荷感测的数据，诸如由有效载荷相机捕获的图像数据或由激光雷达传感器捕获的地图构建数据；以及从由有效载荷相机捕获的图像数据生成的数据或从由激光雷达传感器捕获的地图构建数据生成的激光雷达数据)。
在一些实施例中，控制数据可以例如经由对移动机构116的控制引起可移动物体的位置和/或定向的修改，或者可以例如经由对有效载荷组件122的控制引起有效载荷相对于可移动物体的移动的修改。来自应用的控制数据可以引起对有效载荷的控制，诸如对扫描传感器124、相机或其它图像捕获装置的操作的控制(例如，拍摄静止或移动的图片、放大或缩小、打开或关闭、切换成像模式、改变图像分辨率、改变焦点、改变景深、改变曝光时间、改变视角或视场)。
在一些情况下，来自可移动物体、有效载荷组件和/或有效载荷的通信可以包括从(例如，感测系统118的或者扫描传感器124或其它有效载荷的)一个或多个传感器获得的信息和/或基于感测信息生成的数据。通信可以包括从一个或多个不同类型的传感器(例如，GPS传感器、运动传感器、惯性传感器、近距离传感器或图像传感器)获取的感测信息。这种信息可以与可移动物体、有效载荷组件和/或有效载荷的位置(例如，位置、定向)、移动或加速度有关。来自有效载荷的这种信息可以包括由有效载荷捕获的数据或有效载荷的感测状态。
在一些实施例中，计算装置112可以被添加到可移动物体。计算装置可以由可移动物体供电，并且可以包括一个或多个处理器，诸如CPU、GPU、现场可编程门阵列(FPGA)、片上系统(SoC)、专用集成电路(ASIC)或其它处理器。计算装置可以包括操作系统(OS)，诸如基于
Figure BDA0003041843740000081
Figure BDA0003041843740000082
的操作系统或其它OS。任务处理可以从飞行控制器114卸载到计算装置112。在各种实施例中，地图构建管理器126可以在计算装置112、客户端装置110、有效载荷124、远程服务器(未示出)或其它计算装置上执行。
在一些实施例中，地图构建管理器126可以用于为诸如构建、勘测、目标检查等的各种应用提供基于激光雷达的实时地图构建。可以实时地构建地图，使得地图的版本能够在其被收集时在客户端装置110上被呈现，而不是收集要被后处理成目标的地图表示的数据。这种实时呈现可以使得用户能够判断目标环境中的任何区域是否尚未被扫描传感器124扫描。另外，在可移动物体返回时，可以下载并使用地图的另一版本。在各种实施例中，地图构建管理器126可以利用计算装置112中的并行计算架构来执行实时地图构建。在一些实施例中，地图构建管理器126可以执行数据压缩以将密集地图变换成稀疏地图以在客户端装置110上呈现。通过将密集地图压缩成稀疏地图，地图构建管理器126可以用于减小从可移动物体104传输到客户端装置110所需的数据大小，并且因此节省了数据传输时间和带宽以用于高效的实时地图呈现。在这种实施例中，与可移动物体从扫描目标环境返回时从可移动物体获得的版本(即，密集地图)相比，地图的实况呈现可以是地图的较低分辨率的版本或压缩数据的版本(即，稀疏地图)。在一些实施例中，可以将地图构建数据输出为激光雷达数据交换文件(LAS)，激光雷达数据交换文件可以由各种工具用来呈现目标环境的地图和/或使用地图构建数据来进行进一步处理、规划等。嵌入LAS输出文件中的元数据可以促进地图与各种第三方工具的集成。在各种实施例中，可以根据用户偏好以各种文件格式输出地图。
地图构建管理器126可以从扫描传感器124接收地图构建数据。如所讨论的，扫描传感器124可以是激光雷达传感器或提供对目标环境的高分辨率扫描的其它传感器。地图构建管理器126还可以从定位传感器(例如，GPS模块、RTK模块或其它定位传感器)接收定位数据。在一些实施例中，定位传感器可以是功能模块108、感测系统118或联接到可移动物体104的单独模块的一部分，该单独模块提供用于可移动物体的定位数据。地图构建数据可以使用定位数据来地理参考，并且用于构建目标环境的地图。3D地图构建的现有方法依赖于有助于扫描匹配的复杂环境。与需要复杂环境以便使用扫描匹配来准备地图的现有地图构建系统不同，实施例客观地地理参考地图构建数据。这允许对各种目标环境地图构建而不管环境复杂性如何。
下面参考图2描述可移动物体架构的附加细节。
图2示出了根据各种实施例的可移动物体环境中的可移动物体架构的示例200。如图2所示，可移动物体104可以包括计算装置112和飞行控制器114。计算装置112可以经由诸如以太网或通用串行总线(USB)之类的高带宽连接而连接到扫描传感器124。计算装置112还可以通过诸如通用异步收发器(UART)之类的低带宽连接而连接到定位传感器202。如所讨论的，定位传感器202可以作为单独的模块被包括(如图2所示)或者可以作为功能模块108或感测系统118的一部分被包括。定位传感器202可以包括无线电装置204，诸如4G、5G或其它蜂窝或移动网络无线电装置。无线电装置204可以由RTK模块206使用来增强由GPS模块208收集的定位数据。虽然图2中示出了GPS模块，但是可以使用任何全球导航卫星服务，诸如GLOSNASS、Galileo、北斗等。RTK模块206可以使用无线电装置204从参考站接收参考信号，并对GPS模块208提供的定位数据提供校正。另外，GPS模块208可以向扫描传感器124输出时钟信号，例如每秒脉冲(1PPS)信号。这允许扫描传感器和GPS传感器使用相同的时钟信号将同步的时间戳应用于扫描传感器和GPS传感器收集的数据。
在各种实施例中，计算装置112可以连接到一个或多个高带宽部件，诸如一个或多个相机、立体视觉模块或有效载荷。计算装置112可以经由UART和/或USB连接到飞行控制器114，以经由通信系统120B向远程控制器发送数据和从远程控制器接收数据。在各种实施例中，计算装置112可以包括一个或多个CPU、GPU、现场可编程门阵列(FPGA)、片上系统(SoC)或其它处理器。
飞行控制器114可以连接到各种功能模块108，诸如磁力计210、气压计212和惯性测量单元(IMU)214。在一些实施例中，代替飞行控制器114或除飞行控制器114之外，通信系统120B还可以连接到计算装置112。在一些实施例中，由一个或多个功能模块108和定位传感器202收集的传感器数据可以从飞行控制器114传递到计算装置112。
在一些实施例中，飞行控制器114和计算装置112可以被实现为单独的装置(例如，单独的电路板上的单独的处理器)。可替换地，飞行控制器114和计算装置112中的一个或多个可以被实现为单个装置，诸如SoC。在各种实施例中，计算装置112可以是从可移动物体可移除的。
图3示出了根据各种实施例的可移动物体环境中的地图构建管理器126的示例300。如图3所示，地图构建管理器126可以在计算装置112的一个或多个处理器302上执行。一个或多个处理器302可以包括CPU、GPU、FGPA、SoC或其它处理器，并且可以是由计算装置112实现的并行计算架构的一部分。地图构建管理器126可以包括传感器接口303、数据准备模块308和地图生成器316。
传感器接口303可以包括扫描传感器接口304和定位传感器接口306。传感器接口303可以包括硬件和/或软件接口。扫描传感器接口304可以接收来自扫描传感器(例如，激光雷达或其它扫描传感器)的数据，并且定位传感器接口306可以接收来自定位传感器(例如，GPS传感器、RTK传感器、IMU传感器和/或其它定位传感器或这些传感器的组合)的数据。在各种实施例中，扫描传感器可以产生点云格式的地图构建数据。地图构建数据的点云可以是目标环境的三维表示。在一些实施例中，地图构建数据的点云可以被转换成矩阵表示。定位数据可以包括用于可移动物体的GPS坐标，并且在一些实施例中，可以包括与对应于每个GPS坐标的可移动物体相关联的横滚值、俯仰值和偏航值。横滚值、俯仰值和偏航值可以从诸如惯性测量单元(IMU)之类的定位传感器或其它传感器获得。如所讨论的，定位数据可以从RTK模块获得，该RTK模块基于从参考站接收的校正信号来校正GPS坐标。在一些实施例中，RTK模块可产生与每个输出坐标相关联的方差值。方差值可以表示对应定位数据的精度。例如，如果可移动物体正在执行急剧移动，则方差值可能上升，指示已经收集了不那么准确的定位数据。方差值也可以根据大气条件而变化，从而导致根据收集数据时存在的特定条件由可移动物体测量的精度不同。
定位传感器和扫描传感器可以共享时钟电路。例如，定位传感器可以包括时钟电路，并且向扫描传感器输出时钟信号。在一些实施例中，单独的时钟电路可以将时钟信号输出到扫描传感器和定位传感器。这样，可以使用共享的时钟信号来对定位数据和地图构建数据加时间戳。
在一些实施例中，定位传感器和扫描传感器可以输出具有不同延迟的数据。例如，定位传感器和扫描传感器可以不同时开始生成数据。因此，定位数据和/或地图构建数据可以缓冲以对延迟做出解释。在一些实施例中，可以基于每个传感器的输出之间的延迟来选择缓冲器尺寸。在一些实施例中，地图构建管理器可从定位传感器和扫描传感器接收数据，并且相对于共享的时钟信号使用由传感器数据共享的时间戳来输出同步数据。这使得定位数据和地图构建数据能够在进一步处理之前被同步。另外，从每个传感器获得的数据的频率可以不同。例如，扫描传感器可以产生在几百kHz范围内的数据，而定位传感器可以产生在几百Hz范围内的数据。因此，为了确保地图构建数据的每个点具有对应的定位数据，上采样模块310可以对较低频率数据进行插值以匹配较高频率数据。例如，假设定位数据由定位传感器以100Hz产生，并且地图构建数据由扫描传感器(例如，激光雷达传感器)以100kHz产生，则定位数据可以从100Hz到100kHz被上采样。可以使用各种上采样技术来对定位数据进行上采样(upsample)。例如，可以使用线性拟合算法(linear fit algorithm)，诸如最小二乘法。在一些实施例中，非线性拟合算法可以用于对定位数据进行上采样。另外，定位数据的横滚值、俯仰值、偏航值也可以被插值以匹配地图构建数据的频率。在一些实施例中，横滚值、俯仰值和偏航值可以是球面线性插值(SLERP)以匹配地图构建数据中的点的数量。时间戳同样可以被插值以匹配插值后的定位数据。一旦定位数据已被上采样模块310上采样并与地图构建数据同步，地理参考模块312就可以将地图构建数据的矩阵表示从收集了该矩阵表示的参考系(或参考坐标系)(例如，扫描仪参考系或扫描仪参考坐标系)转换到期望的参考系(或期望的参考坐标系)。例如，定位数据可以从扫描仪参考系被转换为北东下(NED，north-east-down)参考系(或NED坐标系)。定位数据被转换成的参考系可以根据正在产生的地图的应用而变化。例如，如果该地图正用于勘测，则地图可以被转换为ND参考系。另外例如，如果地图用于呈现诸如飞行模拟之类的运动，则地图可以被转换到飞行装置坐标系(FlightGear coordinate system)。地图的其它应用可以影响定位数据到不同参考系或不同坐标系的转换。
地图构建数据的点云中的每个点与扫描仪参考系中相对于扫描传感器确定的位置相关联。然后，可移动物体的由定位传感器产生的定位数据可以用于将扫描仪参考系中的该位置转换为世界坐标系中的输出参考系，诸如GPS坐标系。例如，基于定位数据，扫描传感器在世界坐标系中的位置是已知的。在一些实施例中，定位传感器和扫描模块可以偏移(例如，由于位于可移动物体上的不同位置处)。在这种实施例中，考虑到该偏移的进一步校正可以用于从扫描仪参考系转换到输出参考系(例如，定位数据中的每个测量位置可以使用定位传感器和扫描传感器之间的偏移来校正)。对于地图构建数据的点云中的每个点，可以使用时间戳来识别对应的定位数据。然后，该点可以被转换到新的参考系。在一些实施例中，可以使用来自定位数据的插值的横滚值、俯仰值和偏航值将扫描仪参考系转换成水平参考系。一旦地图构建数据已被转换成水平参考系，地图构建数据就可以被进一步转换成笛卡尔参考系或其它输出参考系。一旦每个点都被转换，结果就是地理参考点云，现在点云中的每个点都参考世界坐标系。在一些实施例中，在执行异常值移除以从地理参考点云中移除异常值数据之前，可以将地理参考点云提供给地图生成器316。
在已产生地理参考点云之后，异常值移除模块314可以从地理参考点云移除异常值数据。在一些实施例中，可以对地理参考点云进行下采样，从而减少数据中的异常值的数量。可以使用体素来执行该数据的下采样。在一些实施例中，可以对每个体素中的点进行求平均，并且可以对每个体素输出一个或多个求平均后的点。这样，在对每个体素中的点进行求平均的过程中，将从数据集中移除异常点。在各种实施例中，体素的分辨率(例如，每个体素的尺寸)可以任意地定义。这允许产生稀疏和密集的下采样点云。分辨率可以由用户确定，或者由地图构建管理器基于例如可用的计算资源、用户偏好、默认值或其它特定于应用信息来确定。例如，较低分辨率(例如，较大体素尺寸)可以用于产生稀疏的下采样点云以用于在客户端装置或移动装置上的可视化。另外或替代地，可在统计上移除异常值。例如，可以确定并统计分析从每个点到其最近的临近点的距离。如果从一点到其最近的临近点的距离大于阈值(例如，点云中的最近临近点距离的标准偏差)，则该点可以从点云中移除。在一些实施例中，异常值移除技术可以是用户可选择的，或者可以是由地图构建管理器自动选择的。在一些实施例中，可以禁用异常值移除。
如所讨论的，点云数据可以是目标环境的三维表示。该3D表示可以被分成体素(例如，3D像素)。
在统计上的异常值移除之后，可以将所得到的点云数据提供给地图生成器316。在一些实施例中，地图生成器316可以包括密集地图生成器318和/或稀疏地图生成器320。在这种实施例中，密集地图生成器318可以从异常值移除之前接收的点云数据中产生高密度地图，并且稀疏地图生成器320可以从异常值移除之后接收的稀疏的下采样点云数据中产生低密度地图。在其它实施例中，密集地图生成器318和稀疏地图生成器320可以与在异常值移除之后接收的点云分开地生成高密度地图和低密度地图。在这种实施例中，每个地图生成器可以使用相同的过程来生成输出地图，但是可以改变体素的尺寸以生成高密度地图或低密度地图。在一些实施例中，低密度地图可以由客户端装置或移动装置使用以提供地图构建数据的实时可视化。高密度地图可以作为激光雷达数据交换文件(LAS)或其它文件类型输出，以与各种地图构建、规划、分析或其它工具一起使用。
地图生成器可以使用点云数据来执行地图中的点的位置的概率估计。例如，地图构建生成器可以使用3D地图构建库，例如OctoMap，来产生输出地图。地图生成器可以将点云数据划分为体素。对于每个体素，地图生成器可以确定体素中有多少点，并且基于点的数量和与每个点相关联的方差，确定点在该体素中的概率。可以将概率与占用阈值进行比较，并且如果概率大于占用阈值，则在输出地图中可以表示点在该体素中。在一些实施例中，给定体素被占用的概率可以表示为：
Figure BDA0003041843740000141
节点n被占用的概率P(n|z1：t)是当前测量z1、先前概率P(n)和先前估计P(n|z1：t-1)的函数。另外，P(n|zt)表示在给定测量zt的情况下体素n被占用的概率。该概率可以被增大以包括由定位传感器测量的每个点的方差，如由以下等式表示的：
Figure BDA0003041843740000142
Figure BDA0003041843740000143
在上述等式中，P(n)表示体素n被占用的总概率。在以上等式中的1/2的使用是特定于实现的，使得概率被地图构建到1/2-1的范围。该范围可以根据使用中的特定实现而变化。在上述等式中，总概率是针对x、y和z维度计算的概率的乘积。每个维度中的概率可基于所述维度中的每一点的平均值μ和给定维度中的每个测量值的方差σ2来判断，其中x、y和z对应于给定点的坐标值。给定体素中平均点附近的大量点可以增加概率，而体素中更扩散的点集合可以降低概率。同样，与数据相关联的大方差(例如，指示已收集的较低精度的位置数据)可以降低概率，而较低的方差可以增加概率。在给定该体素中的点的均值和方差值的情况下，P(n，μ，σ2)表示该体素的高斯分布。
如果体素被占用的总概率大于阈值占用值，则可以将点添加到该体素。在一些实施例中，可以对该体素中的所有点求平均，并且可以将所得到的平均坐标用作该体素中的点的位置。这相对于替代方法提高了所得到的地图的精度，所述替代方法例如使用被占据的体素的中心点作为点，这可能导致取决于体素的分辨率的偏斜结果。在各种实施例中，可以基于处理资源可用的量和/或基于给定应用的数据中的可接受的噪声量来设置占用阈值。例如，占用阈值可以被设置为70％的默认值。可以设置较高的阈值以降低噪声。另外，占用阈值可以根据被收集的数据的质量来设置。例如，在一组条件下收集的数据可以是高质量的(例如，低方差)并且可以设置较低的占用阈值，同时较低质量的数据可能需要较高的占用阈值。
然后，可以将每个占用的体素中具有一个点的所得到的地图构建数据输出为LAS文件或其它文件格式。在一些实施例中，地理参考点云数据可以在没有附加处理(例如，异常值移除)的情况下输出。在一些实施例中，点云数据中的每个点还可以与强度值相关联。强度值可以表示被扫描的物体的各种特征，例如参考平面上方的高度、材料成分等。输出地图中的每个点的强度值可以是针对由扫描传感器(例如，激光雷达传感器)收集的地图构建数据中的每个点测量的强度值的平均值。
图4A和图4B示出了根据各种实施例的分层数据结构的示例。如上所述，并且如图4A所示，表示3D环境400的数据可以被划分成多个体素。如图4A所示，目标环境可以被分成八个体素，其中每个体素被进一步分成八个子体素，并且每个子体素被分成八个更小的子体素。每个体素可以表示3D环境的不同体积部分。可以细分体素直到达到最小体素尺寸。所得到的3D环境可以被表示为分层数据结构402，在分层数据结构中数据结构的根表示整个3D环境，并且每个子节点表示3D环境内的不同层级中的不同体素。
图5A和图5B示出了根据各实施例的地图构建数据中的异常值移除的示例。如图5A所示，当扫描目标物体时，目标物体可以被表示为多个点，这些点群集在物体的不同部分上，包括目标环境中的目标物体的表面(诸如表面501)、边缘(诸如边缘503)和其它部分。为了简单描述，这些表面、边缘等被示为实心的。在数据的各个区域500A至500F中，存在附加的异常点。这在如图5A所示的空白空间的区域中可能是最显著的。与目标物体的表面和边缘的更密集堆积的点相比，这些点是扩散的。异常值移除可以用于消除或减少数据中这些点的数量。如上所述，可以对地理参考点云数据进行下采样，从而减少数据中的异常值的数量。另外或替代地，可以在统计上移除异常值。例如，可以判断并统计分析从每个点到其最近的临近点的距离。如果从一点到其最近临近点的距离大于阈值(例如，点云中的最近临近点距离的标准偏差)，则该点可以从点云中移除。如图5B所示，在异常值移除之后，点云数据502A至502F的区域已经被减小，从而提供更整洁的3D图。
图6示出了根据各种实施例的地图构建数据中的强度值的示例600。如图6所示，强度值的一个示例可以是表示参考平面上方的高度。在该示例中，不同的高度范围可以被分配不同的强度值602至606，如在此使用灰度着色所描述的。在各种实施例中，可以使用不同颜色表示强度以表示不同值或值的范围。另外，强度可以用于表示被扫描的不同材料。例如，钢和混凝土将不同地吸收和反射由扫描传感器产生的入射辐射，使得扫描传感器能够识别使用中的不同材料。每种材料可以被编码为与每个点相关联的不同强度值，并且在输出地图中由不同颜色表示。另外，尽管图6所示的示例示出了表示不同高度范围的三个灰度颜色，但是在各种实施例中，可以使用颜色的连续梯度来表示参考平面上方的高度值的连续变化。
图7示出了根据各种实施例的在软件开发环境中支持可移动物体接口的示例。如图7所示，可移动物体接口703可以用于在诸如软件开发工具包(SDK)环境之类的软件开发环境700中提供对可移动物体701的访问。在一些实施例中，可移动物体接口703可以呈现由地图构建管理器和用于接收用户输入的其它接口部件生成的实时地图。实时地图可以被呈现在与可移动物体相连通的客户端装置或其它计算装置的显示器上。如本文所使用的，SDK可以是在耦合到可移动物体701的机载环境上实现的机载SDK。SDK还可以是在耦合到客户端装置或移动装置的外接环境上实现的移动SDK。如上所述，地图构建管理器可以使用耦合到可移动物体701的机载SDK或耦合到客户端装置或移动装置的移动SDK来实现，以使得应用能够执行实时地图构建，如本文所述。
此外，可移动物体701可以包括各种功能模块A 711至模块C 713，并且可移动物体接口703可以包括不同的接口部件A 731至接口部件C 733。可移动物体接口703中的每个接口部件A 731至接口部件C 733对应于可移动物体701中的模块A 711至模块C 713。
根据各种实施例，可移动物体接口703可以提供用于支持应用和可移动物体701之间的分布式计算模型的一个或多个回调函数。在一些实施例中，接口部件可以被呈现在客户端装置或其它计算装置的显示器的与可移动物体相连通的用户接口上。在这种示例中，如所呈现的，接口部件可以包括用于接收用户输入/指令以控制可移动物体的对应功能模块的可选命令按钮。
回调函数可以由应用用于确认可移动物体701是否已经接收到命令。此外，回调函数可以由应用用于接收执行结果。因此，应用和可移动物体701即使在空间和逻辑上是分离的也可以交互。
如图7中所示，接口部件A 731至接口部件C 733可以与监听器A 741至监听器C743相关联。监听器A 741至监听器C 743可以通知接口部件A 731至接口部件C 733使用相应的回调函数来接收来自相关模块的信息。
另外，为可移动物体接口703准备数据720的数据管理器702可以分离和封装可移动物体701的相关功能。数据管理器702可以是机载的，其耦合到可移动物体701或位于可移动物体701上，数据管理器经由可移动物体701和客户端装置或移动装置之间的通信准备待传送到可移动物体接口703的数据720。数据管理器702可以是外接的，其耦合到客户端装置或移动装置或位于客户端装置或移动装置上，数据管理器经由客户端装置或移动装置内的通信为可移动物体接口703准备数据720。此外，数据管理器702可以用于管理应用和可移动物体701之间的数据交换。因此，应用开发者不需要涉及复杂的数据交换过程。在一些实施例中，地图构建管理器126可以是数据管理器702的一种实现。在这种实施例中，地图构建管理器用于管理地图构建数据，包括使用地图构建数据和定位数据生成地图，并且基于默认设置或用户选择来呈现所生成的用来显示的地图。
例如，机载或移动SDK可以提供一系列回调函数，用于传送即时消息和用于从可移动物体接收执行结果。机载或移动SDK可以配置回调函数的生命周期，以便确保信息交换是稳定的和完整的。例如，机载或移动SDK可以在可移动物体与智能电话上的应用之间建立连接(例如，通过使用安卓系统或iOS系统)。在智能电话系统的生命周期之后，诸如从可移动物体接收信息的回调函数可以利用智能电话系统中的模式，并且相应地更新语句到智能电话系统的生命周期的不同阶段。
图8示出了根据各种实施例的可移动物体接口的示例。如图8所示，可移动物体接口803可以被呈现在客户端装置或其它计算装置的显示器上，表示可移动物体801的不同组件的状态。因此，可移动物体环境800中的应用，例如APP 804至APP 806，可以通过可移动物体接口803访问和控制可移动物体801。如所讨论的，这些应用可以包括检查应用804、查看应用805和校准应用806。
例如，可移动物体801可以包括各种模块，例如相机811、电池812、云台813和飞行控制器814。
相应地，可移动物体接口803可以包括在计算装置或其它计算装置上待呈现的相机部件821、电池部件822、云台部件823和飞行控制器部件824，其它以通过使用APP 804至APP 806来接收用户输入/指令。
另外，可移动物体接口803可以包括与飞行控制器部件824相关联的地面站部件826。地面站部件操作以执行可能需要高级特许的一个或多个飞行控制操作。
图9示出了根据各种实施例的软件开发工具包(SDK)中的可移动物体的部件的示例。SDK 900可以是在机载的地图构建管理器上实现的机载SDK，或者是在位于客户端装置或移动装置上的地图构建管理器上实现的移动SDK。SDK 900可以对应于上述地图构建管理器的全部或一部分，或者可以用于将地图构建管理器实现为独立应用。如图9所示，SDK 900中的无人机类901是可移动物体(例如，无人机)的其它部件902至907的聚合。访问其它部件902至907的无人机类901可以与其它部件902至907交换信息并控制其它部件902至907。
根据各种实施例，应用可以仅由无人机类901的一个实例存取。可替换地，无人机类901的多个实例可以存在于应用中。
在SDK中，应用可以连接到无人机类901的实体，以便将控制命令上传到可移动物体。例如，SDK可以包括用于建立与可移动物体连接的功能。此外，SDK可以使用结束连接功能来断开与可移动物体的连接。在连接到可移动物体之后，开发者可以访问其它类(例如，相机类902、电池类903、云台类904和飞行控制器类905)。然后，无人机类901可以用于调用特定功函数，例如提供可以由飞行控制器使用以控制可移动物体的行为和/或限制可移动物体的移动的访问数据。
根据各种实施例，应用可以使用电池类903来控制可移动物体的电源。此外，应用也可以使用电池类903来规划和测试各种飞行任务的进度表。由于电池是可移动物体中最受限制的元件之一，因此应用可能认真考虑电池的状态，不仅为了可移动物体的安全，而且为了确保可移动物体能够完成指定的任务。例如，电池类903可以被配置成使得如果电池水平低，则可移动物体可以终止任务并且立即回程。例如，如果确定可移动物体具有低于阈值水平的电池水平，则电池类可以使得可移动物体进入省电模式。在省电模式中，电池类可关闭或减少可用于未集成来使可移动物体安全地归航的各种部件的可用电力。例如，不用于导航的相机和其它附件可能失去电力，以增加飞行控制器、马达、导航系统以及需要使可移动物体归航、进行安全着陆等的任何其它系统的可用的电量。
使用SDK，应用可以通过调用从无人机电池类中请求信息的函数来获得电池的当前状态和信息。在一些实施例中，SDK可以包括用于控制这种反馈的频率的功能。
根据各种实施例，应用可以使用相机类902来定义对诸如无人飞行器之类的可移动物体中的相机的各种操作。例如，在SDK中，相机类包括用于接收SD卡中的媒体数据、获得并设置照片参数、拍摄照片和记录视频的函数。
应用可以使用照相机类902来修改照片和记录的设置。例如，SDK可以包括使开发者能够调整所拍摄的照片的尺寸的函数。此外，应用可以使用媒体类来维护照片和记录。
根据各种实施例，应用可以使用云台类904来控制可移动物体的视图。例如，云台类可以用于配置实际视图，例如设置可移动物体的第一个人视图。此外，云台类可以用于自动地稳定云台，以便集中在一个方向上。此外，该应用可以使用云台类来改变视角以检测不同物体。
根据各种实施例，应用可以使用飞行控制器类905来提供关于可移动物体的各种飞行控制信息和状态。如所讨论的，飞行控制器类可以包括用于接收和/或请求访问数据的函数，所述访问数据用于控制可移动物体在可移动物体环境中的各个区域上的移动。
使用飞行控制器类，应用可以例如使用即时消息来监视飞行状态。例如，飞行控制器类中的回调函数可以每一千毫秒(1000ms)回送即时消息。
此外，飞行控制器类允许应用的用户调查从可移动物体接收的即时消息。例如，飞行员可以分析每次飞行的数据，以便进一步提高他们的飞行技能。
根据各种实施例，应用可以使用地面站类907来执行用于控制可移动物体的一系列操作。
例如，SDK可以要求应用具有SDK-LEVEL-2密钥以使用地面站类。地面站类可以提供一键飞行、一键归航、通过app手动控制无人机(即，操纵杆模式)、设置巡航和/或航路点以及各种其它任务调度功能。
根据各种实施例，应用可以使用通信部件来建立应用与可移动物体之间的网络连接。
图10示出了根据各种实施例的可移动物体环境中的目标地图构建的方法的流程图。在操作/步骤1002处，可以从电耦合到可移动物体(例如，UAV)的扫描传感器(例如，激光雷达传感器)获得地图构建数据。在一些实施例中，扫描传感器可以是激光雷达传感器。在操作/步骤1004处，可以从电耦合到可移动物体(例如，UAV)的定位传感器(例如，GPS传感器、RTK传感器、IMU传感器和/或其它定位传感器或这些传感器的组合)获得定位数据。在一些实施例中，定位传感器可以是RTK传感器。
在操作/步骤1006处，可以至少基于与地图构建数据和定位数据相关联的时间数据来将地图构建数据与定位数据相关联。在一些实施例中，将地图构建数据与定位数据相关联可以包括对定位数据进行上采样以包括与地图构建数据中的点的数量相等的数量的位置，并且将地图构建数据中的每个点参考到上采样的定位数据中的对应位置。在一些实施例中，可以使用提供由扫描传感器和定位传感器共享的参考时钟信号的时钟电路来获得与地图构建数据和定位数据相关联的时间数据。
在操作/步骤1008处，可以至少基于相关联的地图构建数据和定位数据来生成第一坐标系中的地图。在一些实施例中，生成地图可以包括针对地图的多个体素中的每个体素，判断来自地图构建数据的一个或多个点是否位于体素中，以及至少基于该体素中的点的数量来判断该体素的占用概率。在一些实施例中，基于与位于体素中的一个或多个点相关联的定位数据的方差来判断占用概率。在一些实施例中，对于具有大于阈值的占用概率的每个体素，可以计算该体素中的一个或多个点的平均位置，并且可以在该平均位置处将点添加到地图。在一些实施例中，对于具有大于阈值的占用概率的每个体素，可以计算该体素中的一个或多个点的平均强度值，并且平均强度值可以与地图中的点相关联。在实施例中，基于体素中的每个点的特征来计算平均强度值，其中每个点的特征与由扫描传感器检测到的高度或材料相关联。
在一些实施例中，所述方法还可以包括确定所述地图构建数据中的点的分布，所述地图构建数据中的所述点中的每一个与距所述地图构建数据中的最近相邻点的距离相关联，并且移除与大于阈值的距离相关联的任何点。在一些实施例中，所述方法还可以包括通过比例因子对所述地图构建数据进行下采样、将所述地图构建数据划分为多个体素，以及针对所述多个体素中的每一个从下采样的地图构建数据中输出平均点。在一些实施例中，该方法还可以包括将地图变换到第二坐标系中并且输出变换的地图。例如，定位数据可以从扫描仪参考系转换为北东下(NED)参考系(或NED坐标系)。定位数据被转换成的参考系可以根据正在产生的地图的应用而变化。例如，如果该地图用于勘测，则其可以被转换为NED参考系。又例如，如果地图用于呈现运动，例如飞行模拟，则地图可以被转换到飞行装置坐标系。地图的其它应用可以影响定位数据到不同参考系或不同坐标系的转换。
在一些实施例中，如上所述的地理参考可以与扫描匹配，诸如同时定位和地图构建(SLAM)组合或激光雷达测距和地图构建(LOAM))组合。传统方法利用具有或不具有惯性导航输入的SLAM。例如，一些方法利用SLAM注入IMU信息，并且有时经由GPS注入里程计，这提供了改进的地图构建算法。与传统方法不同，实施例可以执行如上所述的直接地理参考，然后可以在地理参考之上添加SLAM层或LOAM层。这提供了稳健的地图构建算法，因为地理参考用作所得到的地图的质量的基础。
在一些实施例中，如上所述的地理参考可以与正态分布变换(NDT)组合。NDT是处于基于特征的配准方法(诸如LOAM)和基于点的配准方法(诸如迭代最近点)之间的激光雷达扫描配准方法。世界的“特征”由在每个体素中定义的多元高斯分布来描述。针对每个单元生成概率密度函数(PDF)，并且通过最大化由PDF、点x和变换T生成的概率之和来将点与地图匹配：
Figure BDA0003041843740000221
Figure BDA0003041843740000222
如所讨论的，在各种实施例中，可移动物体可以用于执行各种应用环境的实时地图构建，例如施工现场地图构建、勘测、目标物体地图构建等。在一些实施例中，可移动物体可以是无人飞行器(UAV)，例如图11所示，其已经被配置成执行实时地图构建。
图11示出了根据实施例的用于执行实时地图构建的可移动物体1100的等距视图。如上所述，在各种实施例中的UAV可以包括可移动物体本体或主体1110。主体可以包括感测系统、通信系统、推进系统和/或如上所述的其它系统和功能模块或耦合到感测系统、通信系统、推进系统和/或如上所述的其它系统和功能模块。推进系统可以提供移动机构，例如可独立地为旋翼/螺旋桨1114提供动力的马达1112，以使UAV根据预定路线和/或基于从用户接收的实时用户命令的路线来飞行和导航，所述用户操作与UAV相连通的客户端装置或遥控器。
如图11所示，被配置为执行实时地图构建的UAV可以包括有效载荷组件(或传感器组件)1102，有效载荷组件被配置为支撑扫描传感器和定位传感器(如上所述)并且联接到有效载荷端口1104，以便将有效载荷组件1102连接到可移动物体本体1110。在实施例中，除了为有效载荷组件和有效载荷(例如，扫描传感器和定位传感器)提供结构支撑之外，有效载荷端口1104还被配置成在有效载荷组件和UAV之间传输数据。例如，有效载荷端口1104可以将未处理或最低程度处理的传感器数据(例如，从扫描传感器和/或由有效载荷组件支撑的定位传感器获得的原始地图构建数据和/或原始定位数据)传输到UAV。又例如，有效载荷组件还可以包括一个或多个有效载荷处理器，有效载荷处理器被配置为使用数据处理技术，诸如传感器融合、传感器校准或数据压缩，以获得后处理的传感器数据。在这种示例中，有效载荷端口1104可以将后处理的传感器数据从有效载荷组件传输到UAV。如图11所示，联接到UAV的GPS接收器1118可以从卫星接收GPS信号。所接收的GPS信号可以被位于UAV的主体1110内或位于有效载荷组件1102内的定位传感器，例如RTK传感器用来提高定位数据的精度。在GPS信号被位于有效载荷组件内的RTK传感器使用的情况下，GPS信号可以经由有效载荷端口1104从UAV传输到RTK传感器。
在一些实施例中，UAV还可以包括起落架组件1106，起落架组件被设计成在不飞行时和在着陆/起飞期间提供安全平台，同时不干扰有效载荷组件1102的扫描传感器的视场(FOV)。在一些实施例中，每个起落架组件可以从竖直轴线1116以角度1108向外延伸，以避免起落架在使用中阻碍扫描传感器1102的FOV。在一些实施例中，扫描传感器1102的FOV可以跨越大约40度。在这种实施例中，每个起落架组件可以在每一侧从竖直轴线1116向外延伸至少20度以清理扫描传感器1102的FOV。这可以包括诸如图11所示的固定起落架组件和可调节起落架组件，该可调节起落架组件可以在使用中基于扫描传感器的类型或扫描图案动态地提供对起落架组件角度的调节。
图12示出了根据各种实施例的联接到可移动物体(未示出)的安装组件1202、有效载荷组件1206和扫描传感器1210的正视图。在图12所示的示例1200中，扫描传感器1210(例如激光雷达传感器)可以由经由一个或多个有效载荷端口1208联接到可移动物体(未示出)的有效载荷组件1206来支撑。一个或多个有效载荷端口1208可以机械地联接到有效载荷组件1206，以及提供有效载荷组件1206与UAV的主体之间的电耦合。在实施例中，一个或多个有效载荷端口1208可以直接由UAV的主体提供，并且联接到配置成定向扫描传感器1210的有效载荷组件1206。可选地，一个或多个有效载荷端口1208可以由安装组件1202提供。安装组件1202在一侧上联接到UAV的主体，并且在另一侧上经由有效载荷端口1208联接到有效载荷组件1206。在这种实施例中，安装组件1202和有效载荷组件1206可以共同控制扫描传感器1210的定向。安装组件1202和/或有效载荷组件1206的每个结构支撑部件可以由用户手动调节、由耦合到UAV的地图构建管理器自动控制、或者通过接受用户通过客户端装置和/或遥控器输入的命令自动调节。另外，如图12所示，提供有效载荷端口1208的安装组件1202可以包括一个或多个减震器1204，用于稳定有效载荷端口1208和/或吸收或减小由主体引起的对有效载荷组件1206的振动。
可以是可选的安装组件1202可以用于提供有效载荷端口1208，以将有效载荷组件1206联接到UAV的主体。安装组件1202可以是适于在有效载荷组件1206和UAV的主体之间接合的任何装置或机构，例如板、支架、框架、支柱、臂、轴或这些装置的适当组合。安装组件1202和有效载荷组件1206之间的联接使用有效载荷端口，从而允许有效载荷组件1206和有效载荷经由快速释放机构例如扭转和锁定机构从安装组件1202容易地移除。除了将有效载荷组件1206机械地联接到UAV的主体之外，由安装组件提供的有效载荷端口还可以提供电耦合，从而使得能够在有效载荷组件1206和UAV之间进行数据传输。
在一些实施例中，安装组件1202可以包括多个单独的支撑部件(例如，船架、支架、框架、保持器、臂)，其中的一些可以相对于彼此移动。在实施例中，安装组件1202的每个支撑部件可以由用户手动调节以改变扫描传感器1210的定向。在其它实施例中，安装组件1202的每个支撑部件可以由一个或多个致动器(例如，诸如AC马达或DC马达之类的马达)致动。可以使用任何数量的致动器，例如一个、两个、三个或更多个。在一些情况下，安装组件1202的每个支撑部件可以联接到单个致动器。可替换地，单个致动器可以联接到安装组件的多个支撑组件。通过使用致动器，可以使用支撑部件的任何适当组合以便实现扫描传感器1210的期望的定向移动。致动器可以独立地或共同地致动安装组件1210的定向移动，包括围绕一个或多个旋转轴线(例如，横滚轴线、俯仰轴线或偏航轴线)的移动。该移动可以使扫描传感器1210相对于UAV的主体围绕一个或多个对应的旋转轴线旋转，以实现用户优选的扫描角度。
有效载荷组件1206可以包括有效载荷支撑支架1212、可调节枢转支架1214和有效载荷支撑结构1216。有效载荷支撑支架1212的上端部被配置成使用一个或多个有效载荷端口1208联接到UAV的主体，所述一个或多个有效载荷端口由UAV的主体直接提供或经由安装组件1202提供。有效载荷支撑支架1212的下端被配置成联接到可调节枢转支架1214，以用于改变和调节扫描传感器1210(例如，激光雷达传感器)的扫描角度。
可调节枢转支架1214在一端联接到有效载荷支撑支架1212，并且在另一端联接到支撑扫描传感器1210(例如，激光雷达传感器)的有效载荷支撑结构1216。可调节枢转支架1214被配置成使得可以通过调节扫描传感器1210和有效载荷支撑支架1212的结构之间的相对位置来改变扫描传感器1210(例如，激光雷达传感器)的扫描角度。
在实施例中，可调节枢转支架1214可以由用户手动调节以改变扫描传感器1210的定向，以便执行定制的地图构建任务。在其它实施例中，可调节枢转支架1214可以由一个或多个致动器(例如马达，诸如AC马达或DC马达)致动。可以使用任何数量的致动器，例如一个、两个、三个或更多个。致动器可以致动可调节枢转支架1214围绕一个或多个旋转轴线(例如，横滚轴线、俯仰轴线或偏航轴线)旋转。该旋转可以使扫描传感器1210相对于UAV的主体围绕一个或多个对应的旋转轴线旋转。扫描传感器1210的姿态的变化(例如，沿着横滚轴线、俯仰轴线和/或偏航轴线中的一个或多个的变化)可以通过安装组件1202(例如，通过调节可调节枢转支架1214)、有效载荷组件1206(例如，通过调节一个或多个支撑部件)或两者的组合来实现。
另外或可选地，扫描传感器1210的扫描角度可以通过调节安装组件1202的一个或多个结构支撑部件来手动或自动地调节到多个不同的定向，如上所述。在实施例中，安装组件1202和可调节枢转支架1214可以被共同调节，使得对安装组件1202的组合调节(例如，对一个或多个支撑部件的改变)和对有效载荷组件1206的组合调节(例如，对可调节枢转支架1214的改变)使得扫描传感器1210的扫描角度被定向在用户优选的角度。如上所述，安装组件1202和/或可调节枢转支架1214可以由用户手动调节，或者可以联接到由控制信号触发的致动器/马达，所述控制信号从与由用户操作的客户端装置或遥控器相连通的UAV发送。控制信号包括用户命令以控制致动器/马达，使得安装组件1202和可调节枢转支架1214能够被协作地调节以便改变扫描传感器1210的定向。
有效载荷支撑结构1216可以包括扫描传感器支撑件1218和定位传感器支撑件1220结构。扫描传感器支撑件1218包括U形空腔，U形空腔被配置为在一侧支撑或收容扫描传感器1210的至少一部分(例如，在扫描传感器支撑件1218内以虚线示出的激光雷达传感器的一部分)，同时定位传感器支撑件1220包括被配置为在另一侧容纳一个或多个定位传感器(例如，RTK传感器或IMU传感器)的空间。在实施例中，位于定位传感器支撑件1220内的定位传感器用于检测扫描传感器1210(例如，激光雷达传感器)的姿态。扫描传感器1210和定位传感器两者可以由有效载荷支撑结构1216支撑并且彼此相对靠近地放置。因此，定位传感器可以对扫描传感器的姿态进行精确检测，以便生成具有改进的质量和精度的地图。
在实施例中，有效载荷支撑结构1216还可以包括位于有效载荷支撑结构1216的定位传感器支撑件1220内的一个或多个有效载荷处理器，该一个或多个有效载荷处理器被配置成使用各种信号处理技术，例如传感器融合、数据压缩等来进行传感器数据处理。原始传感器数据在由有效载荷处理器处理之后可以变成后处理的传感器数据，诸如具有改进的精度的增强/融合的定位数据或具有较小数据大小的压缩传感器数据。然后，后处理的传感器数据可以经由传感器有效载荷1208传输到UAV，这提高了从收集的传感器数据生成实时地图的质量和效率。例如，一个或多个有效载荷处理器可以包括姿态处理器，姿态处理器被配置为使用定位传感器数据(例如，RTK数据、IMU数据)或通过组合各种定位传感器数据生成的组合的定位数据(例如，组合RTK数据和IMU数据以使用传感器融合生成RTK/IMU数据)来判断扫描传感器的姿态。又例如，一个或多个有效载荷处理器可以包括激光雷达处理器，激光雷达处理器被配置为处理原始激光雷达数据，诸如从原始激光雷达数据中去除噪声或误差。在一些实施例中，激光雷达处理器可以使用如上所述的异常值移除过程将从激光雷达传感器获得的原始激光雷达数据变换成稀疏激光雷达数据。在其它实施例中，激光雷达处理器可以通过去除噪声和误差来执行初始原始激光雷达数据处理，然后将经处理的激光雷达数据发送到UAV的计算装置(例如，地图构建管理器)以用于将经处理的激光雷达数据变换成稀疏激光雷达数据。又例如，一个或多个有效载荷处理器可以被配置为将从定位传感器获得的定位数据和从激光雷达传感器获得的地图构建数据进行相关。在一些实施例中，由位于有效载荷支撑结构1216的定位传感器支撑件内的一个或多个有效载荷处理器处理的传感器数据可以被传输至位于UAV的主体内的计算装置，例如地图构建管理器，以用于进一步的计算和地图生成。
在实施例中，有效载荷组件1206可以经由一个或多个有效载荷端口1208附接到可移动物体/从可移动物体移除。例如，每个有效载荷端口可以提供扭转和锁定机构或其它快速释放机构以附接/移除和固定有效载荷组件1206。一个或多个有效载荷端口1208可以直接由UAV的主体提供或由安装组件1202提供。一个或多个有效载荷端口1208中的一些或全部被配置成仅用于机械支撑或结构支撑，仅用于电力/数据传输(例如，传感器数据、电力、控制信号等的传输)，或用于机械支撑和电力/数据传输两者。一个或多个有效载荷端口1208的具体配置(例如，数量、位置、定向等)可以取决于有效载荷的特性(例如，传感器的重量、尺寸、数量)以及提供一个或多个有效载荷端口1208的安装组件或UAV。例如，从机械支撑的角度来看，较重的有效载荷或较大的有效载荷可能需要更多数量和/或更大的有效载荷端口，而较轻的有效载荷或较小的有效载荷仅需要较少数量和/或较小的有效载荷端口。又例如，从电力/数据传输的角度来看，与UAV交互(例如，与UAV进行电力/数据/控制信号传输)的有效载荷，可能需要更多数量和/或更大的有效载荷端口。在有效载荷端口提供结构支撑和电力/数据传输两者的情况下，一个或多个有效载荷端口1208的具体配置(例如，数量、位置、定向等)可以从考虑结构支撑和电力/数据传输两者的角度来设计，如上所述。例如，包括要被传输到UAV的各种类型的传感器的较重的有效载荷或较大的有效载荷可能还需要更多数量和/或更大尺寸的有效载荷端口，反之亦然。
在一些实施例中，一个或多个有效载荷端口1208中的一些或全部可以为有效载荷组件1206和由有效载荷组件1206支撑的有效载荷提供结构支撑，该有效载荷包括各种传感器(例如，由扫描传感器支撑件1218支撑的扫描传感器1210、由定位传感器支撑件1220支撑的定位传感器和/或有效载荷处理器)。在一些实施例中，如图12的实施例所示，有效载荷组件1206可以经由一个或多个有效载荷端口1208附接到UAV的主体并且可选地经由安装组件1202连同一个或多个有效载荷端口1208附接到UAV的主体。一个或多个有效载荷端口1208的具体配置(例如数量、位置、定向等)被设计成固定由有效载荷组件1206的有效载荷支撑结构1216支撑的有效载荷的重量/尺寸，该有效载荷包括扫描传感器1210(例如，激光雷达传感器)、定位传感器和/或有效载荷处理器。如图12所示，两个有效载荷端口1208设置在安装组件1202的底部。两个有效载荷端口1208在安装组件1202的左侧和右侧上在距离上分开，以用于稳定地支撑有效载荷组件1206。可以基于有效载荷的特性(例如，扫描传感器1210的重量/尺寸、有效载荷组件1206的重量/尺寸、位于定位传感器支撑件1220内的各种定位传感器/有效载荷处理器的重量/数量、用于传输由扫描传感器1210和/或各种定位传感器收集的原始传感器数据的数据大小、用于传输由有效载荷处理器处理的传感器数据的数据大小等)来设计用于分离的有效载荷端口1208的布局、大小和/或距离。在一些实施例中，传感器有效载荷可能近似地重850克。在这种实施例中，有效载荷端口被设计成支撑至少850克的重量。
在实施例中，一个或多个有效载荷端口1208可以提供电气支持，包括用于在有效载荷组件1206和UAV之间传输未处理/最低程度处理或后处理的传感器数据通信。有效载荷端口1208可以发送从UAV到扫描传感器1210(例如，激光雷达传感器)、定位传感器和/或有效载荷处理器的数据，或接收从扫描传感器1210(例如，激光雷达传感器)、定位传感器和/或有效载荷处理器到UAV的数据，所述扫描传感器、定位传感器和/或有效载荷处理器位于有效载荷支撑结构1216的定位传感器支撑件1220、致动器、致动器控制器(例如，ESC)内、或者作为由有效载荷组件1206支撑的有效载荷支撑结构的任何其它部件内。除了传感器数据传输之外，有效载荷端口1208可以提供其它信号传输，包括从UAV的电源(例如，电池)向扫描传感器1210(例如，激光雷达传感器)、定位传感器、有效载荷处理器、致动器、致动器控制器(例如，ESC)、或由有效载荷组件1206的有效载荷支撑结构支撑的任何其它部件提供电力。在实施例中，通过有效载荷端口1208传输的信号可以包括从UAV到有效载荷组件1206的控制信号，所述控制信号表示(通过控制安装组件1202和/或有效载荷组件1206)定向扫描传感器1210的扫描角度、改变扫描传感器1210的扫描图案或者改变扫描传感器1210的扫描速率或扫描频率以便定制扫描任务等的命令。
在一些实施例中，UAV还可以包括起落架组件1106，起落架组件被设计成在不飞行时和在着陆/起飞期间提供安全平台，同时不干扰由有效载荷组件1206支撑的扫描传感器1210的视场(FOV)。在一些实施例中，每个起落架组件1106可以从竖直轴线1116以角度1108向外延伸，从而避免起落架在使用中阻碍扫描传感器1210的FOV。在一些实施例中，扫描传感器1210的FOV可以跨越大约40度。在这种实施例中，每个起落架组件可以在每一侧从竖直轴线1116向外延伸至少20度以清理扫描传感器1210的FOV。在实施例中，角度1108可以是其它度数，例如10度、15度、25度、30度、35度，使得起落架组件1106在使用中位于扫描传感器1210的FOV的外部。起落架组件1106可以包括诸如图11所示的固定起落架组件和可调节起落架组件，该可调节起落架组件可以在使用中基于扫描图案的类型和/或扫描传感器的FOV动态地提供对起落架组件的角度1108的调节。
图13示出了根据实施例的有效载荷组件1300的等距视图。如图13所示，有效载荷组件可以包括有效载荷支撑支架1306，如上所述。有效载荷支撑支架1306的上端可以包括一个或多个有效载荷端口连接器1302。一个或多个有效载荷端口连接器1302被配置成使用扭转和锁定机构或其它快速释放机构连接到由UAV的主体或安装组件直接提供的有效载荷端口。扭转和锁定机构使得用户能够通过推动运动和顺时针/逆时针的扭转运动将有效载荷组件1300附接到有效载荷端口，并且能够通过逆时针/顺时针的扭转运动和拉动运动分离。其它快速释放机构可以使得用户能够利用短序列的简单运动(例如，旋转或扭转运动、推动运动/拉动运动、滑动运动、切换运动、按压/压下按钮或柱塞等)将有效载荷组件1300快速、机械地附接到有效载荷端口或使有效载荷组件1300从有效载荷端口分离。快速释放机构可以要求不超过一个、两个、三个或四个运动来执行附接/分离动作。在一些情况下，快速释放机构可以由用户在使用或不使用工具的情况下手动应用。有效载荷支撑支架1306的下端可以经由可调节的枢转支架1304连接到有效载荷支撑结构1308。如上所述，可调节枢转支架1304可以以不同的扫描角度定向扫描传感器1310。
一旦有效载荷组件连接到有效载荷端口，则可以将电力、控制信号和/或数据信号发送到扫描传感器(例如，激光雷达传感器)和定位传感器、有效载荷处理器、致动器、致动器控制器(例如，ESC)或者由有效载荷组件支撑的任何其它部件，和/或从扫描传感器(例如，激光雷达传感器)和定位传感器、有效载荷处理器、致动器、致动器控制器(例如，ESC)或者由有效载荷组件支撑的任何其它部件接收电力、控制信号和/或数据信号。在一些实施例中，扫描传感器1310的定向可以由用户通过扭转可调节枢转支架1304来手动改变。可选地，如上所述，扫描传感器1310的定向可以通过经由致动器或马达控制可调节枢转支架1304而自动地改变。例如，连接到机动控制器的可调节枢转支架1304使得能够响应于经由一个或多个有效载荷端口从用户(例如，使用客户端应用)接收的角度命令来调节定向。在一些实施例中，如图13所示，可调节枢转支架1304可以使得能够手动调节扫描传感器1310(例如，激光雷达传感器)的扫描角度。通过使用紧固件将有效载荷支撑支架1306中的孔1312和可调节枢转支架1304中的相应孔1314对准，可以使用有效载荷支撑支架1306和可调节枢转支架1304手动实现扫描角位置。在实施例中，由有效载荷支撑支架1306和可调节枢转支架1304提供的孔的位置可以在制造过程期间基于支撑中的扫描传感器预先确定。在一些实施例中，有效载荷支撑支架1106和可调节枢转支架1304可以包括相应的狭槽，而不是提供预定的角位置的孔，该狭槽使得用户能够选择各种角位置。
除了手动定向可调节枢转支架1304之外，定向还可以通过从UAV传输的控制信号自动地进行。在一些实施例中，可调节枢转支架1304可以包括一个、两个、三个或更多个支架，其中的一些或全部可以相对于彼此移动。一些或所有的支架可以围绕不同的轴线相对于彼此移动，以提供多个自由度。在实施例中，可调节枢转支架1304的每个支架可以由用户手动调节以改变扫描传感器1310的定向。在其它实施例中，可调节枢转支架1304的每个支架可以由一个或多个致动器(例如马达，诸如AC马达或DC马达)致动。可以使用任何数量的致动器，例如一个、两个、三个或更多个。在一些情况下，可调节枢转支架1304的每个支架可以联接到单个致动器。可替换地，单个致动器可以联接到可调节枢转支架1304的多个支架。通过使用致动器，可以使用支架的任何适当组合以便实现扫描传感器1310的期望的定向移动。致动器可以独立地或共同地致动扫描传感器1310的定向移动，包括围绕一个或多个旋转轴线(例如，横滚轴线、俯仰轴线或偏航轴线)的移动。该移动可以使扫描传感器1310围绕一个或多个相应的旋转轴线相对于有效载荷支撑支架1306旋转，以实现由用户优选的扫描角度。
如上所述，可调节枢转支架1304可以适应各种扫描角度。在一些实施例中，传感器有效载荷的扫描角度可以手动或自动地调整到多个不同的定向，包括当可移动物体处于着陆位置时相对于水平面的45度或90度。另外或可选地，扫描传感器1310的扫描角度可以通过调节可调节枢转支架1304的一个或多个支架和/或安装组件的一个或多个支撑部件而手动或自动调节到多个不同的定向，使得有效载荷组件和安装组件的每个部件的组合效果可以将扫描传感器定向在期望的角度。例如，安装组件1202的每个支撑部件和/或可调节枢转支架1304的每个支架可以由用户手动调节。在其它实施例中，安装组件1202的每个支撑部件和/或可调节枢转支架1304的每个支架可以联接到一个或多个致动器/马达，所述致动器/马达由从UAV发送的控制信号触发，所述UAV与用户操作的客户端装置或遥控器通信。控制信号包括用户命令以控制致动器或马达，从而使得安装组件1202和/或有效载荷组件能够协作地调节扫描传感器1310的定向。
本发明中的有效载荷组件被配置为提供支撑传感器、处理器、通信模块和/或其它模块的一个或多个结构。图12、图13、图14、图15A和图15B示出了有效载荷组件的一些示例性的有效载荷支撑结构。该有效载荷支撑结构可以包括以不同形状和/或数量形成的一个或多个结构(例如，U形空腔结构和/或一个或多个壳体结构)，所述结构被配置为在由该一个或多个结构形成的一个或多个空间内容纳不同类型的传感器、处理器、通信模块和/或其它模块。在一个实施例中，如图13所示，有效载荷组件可以包括有效载荷支撑结构1308，有效载荷支撑结构1308包括扫描传感器支撑件和定位传感器支撑结构。在实施例中，扫描传感器支撑件包括U形空腔，该U形空腔被配置为在一侧保持或收容扫描传感器1310(例如，激光雷达传感器)的至少一部分，同时定位传感器支撑件包括空间，该空间被配置为容纳定位传感器(例如，RTK传感器或IMU传感器)、有效载荷处理器、通信模块和/或电子模块。在实施例中，位于定位传感器支撑件的空间内的定位传感器用于检测扫描传感器1310(例如激光雷达传感器)的姿态。扫描传感器1310和定位传感器可以由有效载荷支撑结构1308共同支撑并且彼此相对靠近地放置。因此，定位传感器可以对扫描传感器的姿态进行精确检测，以便生成具有改进的质量和精度的地图。尽管图13示出了具有背对背的扫描传感器支撑件和定位传感器支撑件的有效载荷支撑结构1308，但是有效载荷支撑结构1308可以以具有不同数量的用于支撑扫描传感器、定位传感器、有效载荷处理器和/或其它电子模块的结构的其它形状形成。例如，包括扫描传感器、定位传感器、有效载荷处理器和/或其它电子模块的所有电子部件可以由单个有效载荷支撑结构1308支撑。又例如，包括扫描传感器、定位传感器、有效载荷处理器和/或其它电子模块的每个电子部件或电子部件中的一些电子部件可以由有效载荷支撑结构形成的不同结构(包括具有/不具有窗口的封闭壳体、用于支撑传感器的狭槽或凹槽结构、在至少一侧上具有一些容纳传感器/处理器/电子模块等的开口的壳体)来支撑。
在图13所示的实施例中，一旦有效载荷组件连接到有效载荷端口，从由有效载荷支撑结构1308的扫描传感器支撑件支撑的扫描传感器1310获得的地图构建数据，以及从位于有效载荷支撑结构1308的定位传感器支撑件内的定位传感器获得的定位数据可以通过有效载荷端口被传输到UAV的计算装置(例如，地图构建管理器)。在一些实施例中，所传输的定位数据和地图构建数据可以是直接从扫描传感器和定位传感器获得的未处理/最低程度处理的传感器数据。在其它实施例中，所传输的定位数据和地图构建数据可以是后处理的传感器数据。在这种实施例中，有效载荷支撑结构1308的定位传感器支撑件还可以容纳一个或多个有效载荷处理器(诸如激光雷达处理器、姿态处理器和/或其它处理器)，有效载荷处理器被配置为用于在向UAV传输之前进行初始传感器数据处理。例如，可以提供激光雷达处理器以使用下采样技术或其它数据压缩处理，诸如从地图构建数据中移除异常点，将原始激光雷达数据压缩成稀疏激光雷达数据，如上所述。又例如，姿态处理器可以被配置为判断激光雷达传感器在地图构建任务期间的姿态，并且将激光雷达传感器在地图构建任务的过程期间的姿态与点云的每个点相关。姿态处理器可以使用由单个定位传感器获得的定位传感器数据(例如，RTK数据、IMU数据)或从不同定位传感器获得的组合的定位传感器数据(例如，针对点云的每个点将从RTK传感器和IMU传感器接收的RTK传感器数据和IMU传感器数据进行相关，以使用传感器融合生成组合的RTK/IMU数据，从而改进姿态检测以用于生成实时地图)来进行扫描传感器的姿态确定。在实施例中，由UAV的通信模块接收的GPS数据或射频(RF)数据可经由有效载荷端口传输到姿态处理器，以获得增强RTK传感器数据。在其它实施例中，GPS数据和RF数据可以由有效载荷组件所支撑的通信模块接收，并且被传输到姿态处理器以用于获得增强的RTK传感器数据。除了激光雷达处理器和姿态处理器之外，有效载荷支撑结构1308的定位传感器支撑件还可以容纳被配置成进行初始传感器数据处理的其它有效载荷处理器。例如，有效载荷支撑结构1308的定位传感器支撑件可以容纳有效载荷处理器，该有效载荷处理器被配置为使用用于同步的时间数据来将地图构建数据和定位数据相关。如上所述，时间数据可以与从耦合到定位传感器和/或扫描传感器的共享时钟电路获得的共享时钟信号相关联。这些后处理的传感器数据，诸如压缩的地图构建数据、通过传感器融合的组合的RTK/IMU数据，和/或相关联的地图构建数据和定位数据，可以经由有效载荷端口传输到UAV的计算装置(诸如地图构建管理器)，以用于地图生成或进一步的计算。
在一些实施例中，具有反射性的涂层材料的反射镜或板可以在使用中以与激光雷达传感器的FOV的至少一部分重叠的特定角度安装在扫描传感器(例如，激光雷达传感器)上。通过应用具有反射性的涂层材料的反射镜或板，可以将激光雷达的FOV加宽以包括由从激光雷达照射的激光创建的第二FOV，该激光被具有反射性的涂层材料的反射镜或板反射。
图14示出了根据实施例的可替代的有效载荷组件的等距视图。与图13类似，有效载荷组件可以包括有效载荷支撑支架、可调节枢转支架和有效载荷支撑结构，如上所述。有效载荷支撑结构可以包括扫描传感器支撑件和定位传感器支撑结构。扫描传感器支撑件包括U形空腔，该U形空腔被配置为在一侧保持或收容扫描传感器(例如，激光雷达传感器)，同时定位传感器支撑件包括空间1402，该空间1402被配置为容纳定位传感器(例如，RTK传感器或IMU传感器)。在实施例中，位于定位传感器支撑件内的定位传感器用于检测扫描传感器(例如激光雷达传感器)的姿态。扫描传感器和定位传感器可以由有效载荷支撑结构共同支撑，并且彼此相对靠近地放置。因此，定位传感器可以对扫描传感器的姿态进行精确检测，以便生成具有改进的质量和精度的地图。
定位传感器支撑件还可以包括定位传感器外壳1404。定位传感器外壳1404可以提供机构，诸如滑动机构，以向用户暴露定位传感器支撑件的空间1402，以放置或改变用户优选的定位传感器(例如，RTK传感器或IMU传感器)的类型和/或有效载荷处理器(例如，姿态处理器或激光雷达处理器)的类型，以支持定制的地图构建任务。如图14所示，定位传感器外壳1404可以是能够沿着由定位传感器支撑件提供的预定轨迹滑动的盖形结构。盖还可以包括在一端上的止动件1408，使得当盖滑动以暴露空间1402时，止动件1408可以固定盖以免定位传感器支撑结构分离。定位传感器支撑件的空间1402可以容纳设置在其中的各种部件，包括各种定位传感器、处理器和/或任何其它电子模块。各种部件可以安装到空间1402中，并且经由任何合适的附接结构/机构来释放地或固定地附接到定位传感器支撑件。例如，一些部件可以使用条带、魔鬼粘、电缆、插头、与部件尺寸配合的外壳内的隔室等附接到定位传感器支撑件。在一个实例中，一些电子部件(诸如RTK模块、IMU模块、姿态处理器、激光雷达处理器等)可以使用接口连接器(例如，可插拔连接器、电缆连接器等)连接到定位传感器支撑结构，所述接口连接器与定位传感器支撑件一起定位并且位于空间1402的一个或多个内表面或隔室内。在这种实施例中，如果需要，用户可以通过滑动定位传感器外壳1404来暴露/打开空间1402，通过出于不同目的(例如，出于调试或维修目的、出于替换不同类型的定位传感器的目的、出于移除或添加要布置在空间1402内的电子部件的目的等)断开接口连接器(例如，从可插拔连接器或电缆连接器拔出电子部件)来拆卸一个或多个电子部件。
在实施例中，定位传感器外壳1404可以保护定位传感器或位于空间1402内的有效载荷处理器免受元件和/或电磁干扰。定位传感器外壳1404为位于定位传感器支撑件的空间1402内的电子器件提供了对外来碎屑和湿气的进入保护(IP)。在一些实施例中，定位传感器外壳1404可以包括涂层，该涂层包括导电屏蔽材料，例如铜、镍、铝或钢。在这种实施例中，定位传感器外壳1404可以喷涂薄层涂料或其它物质，包括铜、镍、铝或钢，以保护定位传感器不受电磁干扰引起的干扰。在一些实施例中，定位传感器外壳1404可以包括法拉第笼，所述法拉第笼具有各种圆形切口以防止定位传感器由于电磁干扰而被干扰。圆形切口的尺寸和位置可以针对预期的电磁干扰的一个或多个频率和/或最可能干扰定位传感器的功能的那些频率来选择。在一些实施例中，定位传感器外壳1404还可以包括一个或多个窗口1406，所述窗口1406被配置为耗散由定位传感器、有效载荷处理器或在运行期间设置在其中的任何其它电子部件产生的热量。
图15A示出了根据实施例的可调节枢转支架和有效载荷支撑结构的侧视图。安装组件包括有效载荷组件支架(未示出)、可调节枢转支架1504和有效载荷支撑结构1502，如图15A所示。如上所述，有效载荷支撑结构1502可以包括在一侧上的扫描传感器支撑件(在图15A中示出为支撑扫描传感器1506的下侧)和在另一侧上的定位传感器支撑结构(在图15A中示出为由有效载荷支撑结构1502形成的上壳体结构)。在实施例中，扫描传感器支撑件包括U形空腔，该U形空腔被配置为在有效载荷支撑结构1502的下侧上保持或者收容扫描传感器1506(例如，激光雷达传感器)，同时定位传感器支撑件包括空间，该空间被配置为在有效载荷支撑结构1502的上部上容纳一个或者多个定位传感器(例如，RTK传感器或者IMU传感器)。在实施例中，位于定位传感器支撑件内的定位传感器用于检测扫描传感器1506(例如，激光雷达传感器)的姿态。扫描传感器1506和定位传感器可以共同由有效载荷支撑结构1502支撑，并且可以彼此相对靠近地放置。因此，定位传感器可以对扫描传感器的姿态进行精确检测，以便生成具有改进的质量和精度的地图。
在实施例中，可调节枢转支架1504可以包括可围绕旋转轴线(例如，横滚轴线、俯仰轴线或偏航轴线)顺时针或逆时针旋转的支架，使得扫描传感器1506可以相应地围绕旋转轴线顺时针或逆时针旋转。在一些实施例中，可调节枢转支架1504可以包括多个支架，多个支架的子集中的每个支架可以围绕不同的旋转轴线(包括横滚轴线、俯仰轴线和/或偏航轴线)旋转，使得扫描传感器1506可以围绕多个轴线旋转，从而产生用于定向扫描传感器1506的更多的自由度。
在实施例中，有效载荷支撑结构1502还可以容纳位于有效载荷支撑结构1502的定位传感器支撑件内的一个或多个有效载荷处理器，该一个或多个有效载荷处理器被配置为使用各种信号处理技术，例如传感器融合、数据压缩等进行初始传感器数据处理。例如，一个或多个有效载荷处理器可以包括姿态处理器，姿态处理器被配置为使用由单个定位传感器获得的定位数据或由各种定位传感器使用传感器融合获得的组合的定位数据(例如，使用传感器融合组合RTK数据和IMU数据以生成组合的RTK/IMU数据)来判断扫描传感器的姿态。又例如，一个或多个有效载荷处理器可以包括激光雷达处理器，激光雷达处理器被配置为使用异常值移除处理将由激光雷达传感器获得的原始激光雷达数据变换成稀疏激光雷达数据，如上所述。又例如，一个或多个有效载荷处理器可以被配置为使用时间数据将从定位传感器获得的定位数据和从激光雷达传感器获得的地图构建数据相关联，如上所述。在一些实施例中，由位于有效载荷支撑结构1502的定位传感器支撑件内的一个或多个有效载荷处理器处理的原始传感器数据可以经由有效载荷端口传输到位于UAV的主体内的计算装置，例如地图构建管理器，以用于进一步计算或地图生成。
图15B示出了根据实施例的可调节枢转支架和有效载荷支撑结构的等距视图。安装组件包括有效载荷组件支架(未示出)、可调节枢转支架1504和有效载荷支撑结构1502，如图15B所示。可调节枢转支架和有效载荷支撑结构的详细描述在上述图15A中讨论。在一些实施例中，扫描传感器1506与扫描有效载荷支撑件之间和/或扫描有效载荷支撑件与定位有效载荷支撑件之间的相交可以是不是正方形的任何种类的形状，例如矩形、圆形、椭圆形、三角形等。在实施例中，有效载荷支撑结构1502B的定位传感器支撑件还可以包括一个或多个窗口1508，所述一个或多个窗口1508被配置为耗散由定位传感器、有效载荷处理器或在运行期间设置在其中的任何其它电子部件产生的热量。
图16至图18示出了根据各种实施例的经由有效载荷组件联接到可移动物体的扫描传感器的成角度的位置的示例。图16至图18示出了根据各种实施例的联接到可移动物体的扫描传感器的成角度的位置的示例。在图16中所示的示例1600中，激光雷达1610可以被定位成相对于水平面成0度。如上所述，该位置可以使用可调节枢转支架1612和有效载荷支撑支架1602来实现。在图17中所示的示例1700中，激光雷达1710可以相对于水平面以45度定位。该角位置也可以使用有效载荷支撑支架1702和可调节枢转支架1712通过将支架中的相应孔对准45度位置来实现，如图13中所述。类似地，图18中所示的示例1800示出了相对于水平面成90度定位的激光雷达1810。如上所述，该位置可以通过改变可调节枢转支架1812中的孔与有效载荷支撑支架1802中的相应孔的对准来实现。在一些实施例中，有效载荷支撑支架1802可以包括狭槽，而不是提供预定角位置的孔，该狭槽使得用户能够选择各种角位置。除了由用户手动定位图16至图18中的可调节枢转支架之外，扫描传感器还可以使用从UAV传输到一个或多个致动器/马达的控制信号而自动定位，所述致动器/马达控制安装组件和/或有效载荷组件(包括可调节枢转支架)的一个或多个部件，以实现期望的扫描角度或扫描位置，如上所述。通过使用致动器/马达，由安装组件和有效载荷组件提供的部件的任何合适的组合可以用于实现扫描传感器的期望的定向。致动器/马达可以独立地或共同致动扫描传感器的任何定向运动，包括围绕一个或多个旋转轴线(例如，横滚轴线、俯仰轴线或偏航轴线)的移动。该移动可以使扫描传感器围绕一个或多个相应的旋转轴线旋转，以便实现如图16至图18所示的用户优选的扫描角位置。
图19示出了根据各种实施例的可以在可移动物体环境1900中的有效载荷组件1922上实现的示例性部件，该有效载荷组件1922联接到由可移动物体1904直接提供或者经由安装组件1910提供的有效载荷端口1920。在实施例中，可移动物体1904可以是被配置为进行地图构建任务的无人飞行器、无人载运工具、手持装置和/或机器人。根据各种实施例，可移动物体1904可以包括电子部件，该电子部件包括一个或多个移动机构1916(例如，推进机构)、感测系统1918、功能模块1908、飞行控制器1914、通信系统1920B以及包括地图构建管理器1926的计算装置1912。在以上图1中说明了每个部件的详细描述。
在各种实施例中，可移动物体环境1900中的可移动物体1904可以经由有效载荷端口1920(或者可选地，经由安装组件1910和有效载荷端口1920)联接到有效载荷组件1922。有效载荷组件1922支撑各种传感器，该传感器包括扫描传感器1924(例如，激光雷达传感器)和定位传感器1930B(例如，GPS传感器1938B、RTK传感器1936B、RF传感器1934B和/或IMU传感器1932B)。尽管可移动物体1904通常被描述为飞行器，但这并不旨在限制，并且可以使用任何合适类型的可移动物体。本领域技术人员将理解，在飞行器系统的背景下本文描述的任何实施例可以应用于任何合适的可移动物体(例如，UAV)。
在一些实施例中，由扫描传感器1924收集的原始扫描传感器数据和由有效载荷组件1922支撑的定位传感器1930B收集的原始定位数据可以经由有效载荷端口1920传输到地图构建管理器1926，以用于地图生成。在其它实施例中，如图19所示，有效载荷组件1922可以包括联接到扫描传感器1924和/或定位传感器1930B的一个或多个有效载荷处理器1940，例如姿态处理器1950或扫描传感器处理器1960。有效载荷处理器1940可以执行初始传感器数据处理，并经由有效载荷端口1920将后处理的传感器数据发送到地图构建管理器1926。
例如，姿态处理器1950联接到定位传感器1930B，以接收用于扫描传感器1924的姿态判断的原始定位传感器数据。在实施例中，姿态处理器1950可以接收从单个定位传感器获得的定位传感器数据(例如，RTK数据、IMU数据)，并且使用定位传感器数据来进行姿态判断。在其它实施例中，姿态处理器1950可以使用传感器融合来组合所接收的定位传感器数据以生成组合的定位传感器数据，例如组合RTK数据和IMU数据以生成组合的RTK/IMU数据，以用于判断扫描传感器1924的定向或姿态。姿态处理器1950执行传感器融合以组合RTK数据和IMU数据，以用于在经由有效载荷端口1920向地图构建管理器1926传输之前生成增强的RTK/IMU数据。又例如，扫描传感器处理器1960耦合到扫描传感器1924，用于接收原始扫描传感器数据，诸如原始激光雷达数据。在实施例中，扫描传感器处理器1960可以接收原始地图构建数据(例如，原始激光雷达数据)并且使用异常点移除或下采样过程执行数据压缩以生成稀疏地图构建数据(例如，稀疏激光雷达数据)。又例如，有效载荷处理器1940可以包括被配置成从定位传感器1930B接收定位数据和从扫描传感器1924接收地图构建数据的处理器。在这种实施例中，处理器可以使用时间数据将定位数据与地图构建数据关联，其中时间数据可以由产生参考时钟信号的时钟电路提供，所述参考时钟信号由定位传感器1930B和扫描传感器1924共享以用于同步。然后，可以经由有效载荷端口1920将上述后处理的传感器数据，诸如RTK/IMU数据、稀疏地图构建数据和/或相关联的定位数据和地图构建数据，传输到地图构建管理器1926，以用于地图生成。
在一些实施例中，有效载荷组件1922可以仅支撑扫描传感器1924，同时可移动物体1904在其机载感测系统1918、功能模块1908或联接到可移动物体1904的单独模块中支撑定位传感器1930A(例如，GPS传感器1938A、RTK传感器1936A、RF传感器1934A和/或IMU传感器1932A)。由机载定位传感器1930A提供的定位传感器数据可以直接提供给可移动物体内的地图构建管理器1926，同时由扫描传感器1924获得的地图构建数据经由有效载荷端口1920提供给地图构建管理器1926。地图构建管理器1926可以将从定位传感器1930A接收的定位数据和从有效载荷组件接收的地图构建数据相关联，以用于实时地图生成。
在其它实施例中，可移动物体1904和有效载荷组件1922可以都提供具有不同类型的定位传感器，以用于收集不同类型的定位数据。在这种实施例中，由可移动物体1904和有效载荷组件1922收集的不同类型的定位数据可以经由有效载荷端口1920来传递和交换。例如，机载定位传感器1930A(由UAV支撑)可以包括GPS模块1938B和RF模块1934A，同时定位传感器1930B(由有效载荷组件1922支撑)可以包括RTK模块1936B和IMU模块1932B。在这种示例中，机载定位传感器1930A可以经由有效载荷端口1920将由UAV从卫星接收的GPS数据和由UAV从地面基站接收的RF数据传输到RTK模块1936B(由有效载荷组件1922支撑)。在这种实施例中，RTK模块1936B(由有效载荷组件1922支撑)可以使用GPS数据和RF数据来生成增强的定位数据。增强的定位数据可以经由有效载荷端口1920传输回到可移动物体1904，或者在经由有效载荷端口1920传输回到可移动物体1904以用于地图生成之前，发送到有效载荷处理器1940以用于进一步处理(诸如使用传感器融合将增强的定位数据与从IMU模块1932B获得的IMU数据组合)。在其它实施例中，定位传感器类型的任何组合可以设置在机载定位传感器1930A(由UAV支撑)或定位传感器1930B(由有效载荷组件1922支撑)上。然后，由UAV或有效载荷组件1922获得的不同类型的定位数据可以使用有效载荷端口1920来传递或交换。
在各种实施例中，可移动物体1904包括计算装置1912，所述计算装置1912包括地图构建管理器1926。在一些实施例中，在客户端装置或远程控制器上执行的应用可以向可移动物体1904提供控制数据以进行地图构建任务并生成地图。在实施例中，可以基于扫描传感器数据和定位数据来生成地图。如上所述，扫描传感器数据可以经由有效载荷端口1920从由有效载荷组件1922支撑的扫描传感器1924获得，并且定位数据可以经由有效载荷端口1920从由有效载荷组件1922支撑的定位传感器1930B获得，或者直接从由可移动物体1904支撑的定位传感器1930A获得定位数据。
在一些实施例中，控制数据可以被提供给安装组件1910和/或有效载荷组件1922。控制数据可以(例如，通过控制安装组件1910的支撑部件和/或有效载荷组件1922的可调节枢转支架)引起扫描传感器1924的位置和/或定向的修改。来自应用的控制数据可以引起对有效载荷的控制，诸如对扫描传感器1924、相机或其它图像捕获装置的操作的控制(例如，拍摄静止或运动画面、放大或缩小、打开或关闭、切换成像模式、改变图像分辨率、改变焦点、改变景深、改变曝光时间、改变扫描传感器1924的视角或视场、改变扫描传感器1924的扫描图案、扫描速率或频率)。
在一些实施例中，地图构建管理器1926可以用于为各种应用提供基于激光雷达的实时地图构建，所述各种应用诸如构建、勘测、目标检查等。在实施例中，地图构建管理器1926可以在客户端装置上进行实时地图构建呈现。这种实况呈现可以使得用户能够判断目标环境中的任何区域是否尚未被扫描传感器1924扫描。另外，在返回可移动物体1904时，可以下载和使用地图的另一版本。在各种实施例中，地图构建管理器1926可以利用计算装置1912中的并行计算架构来执行实时地图构建。
在一些实施例中，地图构建管理器1926可以执行数据压缩以将密集地图变换成将在客户端装置上呈现的稀疏地图。通过将密集地图压缩成稀疏地图，地图构建管理器1926可以用于减小用于从可移动物体1904到客户端装置的传输所需的数据大小，并且因此，节省了数据传输时间和带宽以用于高效的实时地图呈现。在这种实施例中，与可移动物体从扫描目标环境返回时从可移动物体获得的版本(即，密集地图)相比，地图的实况呈现可以是地图的较低分辨率版本或压缩数据版本(即，稀疏地图)。在一些实施例中，可以将地图构建数据输出为激光雷达数据交换文件(LAS)，激光雷达数据交换文件可以由各种工具用来呈现目标环境的地图和/或使用地图构建数据以用于进一步处理、规划等。嵌入LAS输出文件中的元数据可以促进地图与各种第三方工具的集成。在各种实施例中，可以根据用户偏好以各种文件格式输出地图。在其它实施例中，由有效载荷组件1922支撑的上述有效载荷处理器1940可以替代地执行数据压缩。在这种实施例中，由有效载荷处理器1940生成的压缩数据可以经由有效载荷端口1920发送到地图构建管理器1926以用于进一步计算。
在各种实施例中，由地图构建管理器1926生成的地图构建数据可以使用定位数据来进行地理参考、可以从定位传感器1930A和/或1930B接收并用于构建目标环境的地图。3D地图构建的现有方法依赖于有助于扫描匹配的复杂环境。与需要复杂环境以便使用扫描匹配来准备地图的现有地图构建系统不同，实施例客观地地理参考了地图构建数据。这允许对各种目标环境进行地图构建而不管环境复杂性如何。
图20示出了根据实施例的可移动物体环境的示例性信号图。
如上文在图19中所述，UAV的地图构建管理器1926可以接收未处理/最低程度处理的传感器数据2010、2020和/或由有效载荷处理器1940处理的后处理的传感器数据2030。在一些实施例中，地图构建管理器1926可以经由有效载荷端口1920接收由扫描传感器1924(例如，激光雷达传感器)收集的未处理/最低程度处理的扫描数据或地图构建数据2010。地图构建管理器1926还可以经由有效载荷端口1920接收由定位传感器1930B收集的未处理/最低程度处理的定位数据2020。在这种实施例中，地图构建管理器1926还可以使用时间数据将未处理/最低程度处理的扫描数据或地图构建数据2010与未处理/最低程度处理的定位数据2020相关联。地图构建管理器还可以执行数据压缩以将未处理/最低程度处理的扫描数据或地图构建数据2010变换成稀疏地图构建数据以用于实时地图呈现。
在其它实施例中，在经由有效载荷端口1920传输到地图构建管理器1926之前，由扫描传感器1924(例如，激光雷达传感器)收集的未处理/最低程度处理的扫描数据或地图构建数据2010以及由定位传感器1930B收集的未处理/最低程度处理的定位数据2020可以首先被传输到有效载荷处理器1940以用于初始处理。有效载荷处理器1940可以包括用于执行初始数据处理的一个或多个处理器，诸如姿态处理器1950或扫描传感器处理器1960等。
例如，姿态处理器1950可被配置成使用从单个定位传感器获得的定位数据(例如，RTK数据、IMU数据)或使用从各种定位传感器获得的组合的定位传感器数据来判断扫描传感器的姿态，所述组合的定位传感器数据使用传感器融合。例如，姿态处理器1950可以使用传感器融合来组合由RTK模块1936B检测到的RTK数据(包括由GPS数据增强的RTK数据和由有效载荷组件1922支撑的GPS模块1938B和RF模块1934B检测到的RF数据，或者由联接到UAV的GPS模块1938A和RF模块1934A增强并经由有效载荷端口1920传输到有效载荷组件1922的RTK数据)和由IMU模块1932B检测到的IMU数据，以生成组合的RTK/IMU数据2030。又例如，扫描传感器处理器1960可以被配置成使用下采样、异常点移除，或其它数据压缩技术来将从扫描传感器1924接收到的未处理/最低限度处理的扫描数据或地图构建数据2010转换成稀疏地图构建数据2030。又例如，有效载荷处理器1940还可以包括其它处理器，诸如被配置为将从定位传感器1930B接收的未处理/最低程度处理的定位数据2020与从扫描传感器1924接收的未处理/最低程度处理的扫描数据或地图构建数据2010相关联以生成相关联的定位数据和地图构建数据2030的处理器。在实施例中，这些后处理的传感器数据2030(例如，组合的RTK/IMU数据、稀疏地图构建数据以及相关联的定位数据和地图构建数据)可经由有效载荷端口1920传输到UAV的地图构建管理器1926，以用于实时地图生成。通过使用有效载荷处理器1940的初始数据处理，可以有效地改进从有效载荷组件传输到UAV的诸如地图构建管理器之类的计算装置的数据大小和质量。在客户端装置上呈现的实时地图可以更快且具有更好的质量，并且因此提高用户体验。
又例如，姿态处理器1950可以基于从单个定位传感器获得的定位传感器数据(例如，GPS数据/RTK数据/IMU数据)或使用传感器融合从各种定位传感器获得的增强的定位传感器数据来生成估计姿态。该估计姿态从姿态处理器1950传输到与UAV联接的计算装置(例如，地图构建管理器)。同时，扫描传感器处理器1960可以(例如，通过移除噪声或误差)从未处理或最低程度处理的扫描传感器数据生成后处理的扫描传感器数据。后处理的扫描传感器数据还从扫描传感器处理器1960被传输到与UAV联接的计算装置(例如，地图构建管理器)。在接收到估计姿态和后处理的扫描传感器数据时，计算装置(例如，地图构建管理器)可以：(1)基于时间数据(例如，时间戳、由时钟电路提供的共享参考时钟信号)将估计姿态与后处理的传感器数据相关联；和/或(2)为了任何用途压缩后处理的扫描数据，该任何用途包括用于从UAV传输到客户端装置/遥控器或任何计算实体、用于呈现到客户端装置/遥控器或任何计算实体的显示器、用于存储在本地/远程/云数据库或任何其它数据存储库中等。在(1)中描述的相关过程、在(2)中描述的数据压缩过程、或(1)和(2)的过程两者可以由联接到UAV的与有效载荷组件并置的一个或多个处理器执行，以提高效率(例如，降低与数据传输相关联的延迟或成本)。
图21示出了可以由在各种实施例中可以用作扫描传感器的激光雷达传感器实现的示例性扫描图案2100。激光雷达系统是发射光束并且测量由激光雷达传感器检测到的反射光的双向行进时间(即，飞行时间)的有源感测系统。所收集的传感器数据通常可以用于测量到已经反射了由激光雷达发射的光的物体的范围或距离。此外，可以使用(1)所检测到的发射光束的双向行进时间、(2)光束相对于三维空间的扫描角度，和/或(3)使用GPS、GNSS、INS或IMU传感器等检测到的激光雷达传感器的绝对位置，来判断三维空间中的物体的位置(例如，利用x坐标、y坐标和z坐标、或者纬度、经度和高度值、或者其它坐标系等来记录的位置)。
不同的激光雷达传感器可以与不同的扫描图案、扫描频率和/或扫描角度相关联。通过利用不同的扫描机构(例如，使用恒速旋转多边形反射镜或振荡反射镜)，激光雷达传感器的扫描图案实际上可以是任何波形。扫描图案的一些示例包括可以由旋转多边形反射镜生成的平行扫描线，或者可以由振荡反射镜生成的锯齿扫描线。其它示例可以包括正弦扫描图案2102、锯齿扫描图案2104、椭圆扫描图案2106、螺旋扫描图案2108或花形扫描图案2110、或均匀扫描图案2112(其可以是一系列同心圆扫描，诸如圆形、卵形或其它扫描形状)。
可以将激光雷达数据收集或记录为离散点或完整波形。离散点识别并记录波形曲线中每个峰位置处的点。完整的波形记录返回能量的分布，并且因此与离散点相比捕获更多的信息。无论是作为离散点还是全波形收集，激光雷达数据都可以作为离散点来获得，该离散点被称为激光雷达点云。激光雷达点云通常被存储为.las格式(或是.las的高度压缩版本的.laz格式)。每个激光雷达点数据及其元数据可以包括各种数据属性，诸如相关联的坐标值、表示由传感器记录的光能的量的强度值、或者表示激光返回地反射离开的物体的类型(诸如分类为地面或非地面)的分类数据等。
许多特征可以在硬件、软件、固件或其组合中执行、使用硬件、软件、固件或其组合来执行或者在硬件、软件、固件或其组合的帮助下执行。因此，可以使用处理系统(例如，包括一个或多个处理器)来实现特征。示例性处理器可以包括但不限于一个或多个通用微处理器(例如，单核处理器或多核处理器)、专用集成电路、专用指令集处理器、图形处理单元、物理处理单元、数字信号处理单元、协处理器、网络处理单元、音频处理单元、加密处理单元等。
特征可以在计算机程序产品中实现、使用计算机程序产品实现或者在计算机程序产品的帮助下实现，该计算机程序产品是具有存储在其上/其中的指令的存储介质(媒体)或计算机可读介质(媒体)，该指令可以用于对处理系统编程以执行本文呈现的任何特征。存储介质可以包括但不限于任何类型的盘，该盘包括软盘、光盘、DVD、CD-ROM、微驱动器和磁光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、闪存装置、磁卡或光卡、纳米系统(包括分子存储器IC)或适于存储指令和/或数据的任何类型的介质或装置。
存储在任何一个机器可读介质(媒体)上的特征可以被并入软件和/或固件中，以用于控制处理系统的硬件，并且用于使处理系统能够利用结果与其它机构交互。这种软件或固件可以包括但不限于应用代码、装置驱动程序、操作系统和执行环境/容器。
本发明的特征还可以例如使用硬件组件，诸如专用集成电路(ASIC)和现场可编程门阵列(FPGA)装置在硬件中实现。实现硬件状态机以便执行本文描述的功能对于相关领域的技术人员来说是显而易见的。
另外，本发明可以使用一个或多个常规的通用或专用数字计算机、计算装置、机器或微处理器来方便地实现，该微处理器包括一个或多个处理器、存储器和/或根据本发明的教导编程的计算机可读存储介质。基于本发明的教导，熟练的程序员可以容易地准备适当的软件编码，这对于软件领域的技术人员来说是显而易见的。
虽然上面已经描述了各种实施例，但是应当理解，它们是通过示例而非限制的方式来呈现的。对于相关领域的技术人员来说，在不脱离本发明的精神和范围的情况下，可以在形式和细节上进行各种改变是显而易见的。
上面已经借助于示出特定功能的性能及其关系的功能构建块描述了本发明。为了便于描述，这些功能构建块的边界在此经常被任意定义。只要恰当地执行特定的功能及其关系，就可以定义替换的边界。因此，任何这种替代边界都在本发明的范围和精神内。
为了说明和描述的目的提供了前面的描述。描述并不是穷举的，也不是要将本发明限制为所公开的精确形式。宽度和范围不应被上述示例性实施例的任何一个所限制。许多修改和变化对于本领域技术人员将是显而易见的。修改和变化包括所公开的特征的任何相关的组合。选择和描述实施例是为了最佳地解释本发明的原理及其实际应用，从而使本领域的其它技术人员能够理解本发明的各种实施例以及适合于所设想的特定用途的各种修改。本发明的范围由所附权利要求及其等同物限定。
在上述各种实施例中，除非另外特别指出，否则诸如短语“A、B或C中的至少一个”的分离性语言旨在被理解为表示A、B或C或其任意组合(例如，A、B和/或C)。因此，分离性语言并不旨在，也不应当被理解为，暗示给定实施例要求A中的至少一个、B中的至少一个、或C中的至少一个各自存在。

Claims (27)

1.一种无人飞行器(UAV)，包括：
推进系统；
主体，所述主体联接到所述推进系统；以及
有效载荷组件，所述有效载荷组件经由有效载荷端口联接到所述主体，所述有效载荷组件包括有效载荷支撑支架，所述有效载荷支撑支架被配置成联接到所述有效载荷端口并且支撑扫描传感器和定位传感器。
2.根据权利要求1所述的UAV，其中，所述有效载荷支撑支架被配置成相对于所述主体以预定扫描角度定向所述扫描传感器。
3.根据权利要求2所述的UAV，其中，所述有效载荷组件包括联接到所述有效载荷支撑支架的可调节枢转支架，所述可调节枢转支架被配置成提供多个预定扫描角度，以用于相对于所述主体定向所述扫描传感器。
4.根据权利要求3所述的UAV，其中，所述可调节枢转支架被配置成相对于所述主体提供在0度到90度之间的所述多个预定扫描角度。
5.根据权利要求1所述的UAV，其中，所述有效载荷支撑支架被配置成使用快速释放连接件来释放地联接到所述有效载荷端口。
6.根据权利要求2所述的UAV，其中，相对于所述主体的所述预定扫描角度是基于所述扫描传感器的扫描图案来选择的。
7.根据权利要求3所述的UAV，其中，所述有效载荷组件包括经由可调节枢转支架联接到所述有效载荷支撑支架的有效载荷支撑结构，所述有效载荷支撑结构被配置成支撑所述扫描传感器和所述定位传感器。
8.根据权利要求7所述的UAV，其中，所述有效载荷支撑结构包括扫描传感器支撑件和定位传感器支撑件，所述扫描传感器支撑件收容所述扫描传感器，并且所述定位传感器支撑件容纳所述定位传感器。
9.根据权利要求7所述的UAV，其中，所述定位传感器支撑件包括定位传感器外壳，所述定位传感器外壳被配置成暴露所述定位传感器支撑件以用于放置或改变一种类型的所述定位传感器。
10.根据权利要求9所述的UAV，其中，所述定位传感器外壳包括窗口，所述窗口被配置成耗散由所述定位传感器在运行期间生成的热量。
11.根据权利要求1所述的UAV，其中，所述定位传感器被配置成检测所述扫描传感器的姿态。
12.根据权利要求1所述的UAV，其中，所述定位传感器是惯性测量单元(IMU)传感器、全球定位系统(GPS)传感器、射频(RF)传感器或实时动态(RTK)传感器。
13.根据权利要求1所述的UAV，还包括耦合到所述主体的地图构建管理器，所述有效载荷端口被配置成将由所述扫描传感器获得的地图构建数据传输到所述地图构建管理器。
14.根据权利要求13所述的UAV，其中，所述有效载荷端口被配置成将由所述定位传感器获得的定位数据传输到所述地图构建管理器。
15.根据权利要求14所述的UAV，其中，所述地图构建管理器被配置成使用传感器融合来处理所述地图构建数据和所述定位数据。
16.根据权利要求14所述的UAV，其中，所述地图构建管理器被配置成使用时间数据来将所述地图构建数据与所述定位数据相关联，其中，所述时间数据是基于与所述扫描传感器、所述定位传感器或耦合到所述地图构建管理器的同步模块相关联的参考时钟信号而获得的。
17.根据权利要求13所述的UAV，其中，所述地图构建管理器设置在所述主体内。
18.根据权利要求8所述的UAV，其中，所述定位传感器支撑件包括有效载荷处理器，其中，所述有效载荷处理器被配置成使用传感器融合来处理由所述扫描传感器获得的地图构建数据和由所述定位传感器获得的定位数据，以生成经后处理的传感器数据。
19.根据权利要求18所述的UAV，其中，所述有效载荷端口被配置成将所述经后处理的传感器数据和所述定位数据传输到与所述主体耦合的地图构建管理器。
20.根据权利要求1所述的UAV，其中，所述有效载荷端口由安装组件提供，所述安装组件被配置成将所述有效载荷组件联接到所述主体，其中，所述安装组件包括一个或多个减震器，所述一个或多个减震器被配置成降低由所述主体引起的所述有效载荷组件的振动。
21.根据权利要求1所述的UAV，还包括：
至少两个起落架组件，每个起落架组件被配置成从所述主体向外延伸以避免阻碍所述扫描传感器的视场(FOV)。
22.根据权利要求21所述的UAV，其中，所述至少两个起落架组件以不小于所述扫描传感器的FOV的视角(AOV)的角度向外成角度。
23.根据权利要求17所述的UAV，其中，每个起落架组件包括至少两个起落架支腿，每个起落架组件使用起落架支架联接到所述主体，所述起落架支架被配置成定向所述至少两个起落架支腿。
24.根据权利要求21所述的UAV，其中，每个起落架组件联接到从所述主体延伸的臂。
25.根据权利要求8所述的UAV，其中，所述定位传感器支撑件包括涂层，所述涂层被配置成降低影响所述定位传感器的电磁干扰。
26.根据权利要求25所述的UAV，其中，所述涂层包括导电屏蔽材料，所述导电屏蔽材料是铜、镍、铝或钢。
27.根据权利要求8所述的UAV，其中，所述定位传感器支撑件包括法拉第笼，所述法拉第笼被配置成容纳所述定位传感器以用于降低影响所述定位传感器的电磁干扰。
CN201980071197.9A 2018-10-29 2019-10-28 使用有效载荷组件执行实时地图构建的可移动物体 Pending CN113196197A (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201862752273P 2018-10-29 2018-10-29
US62/752,273 2018-10-29
USPCT/US2019/058218 2019-10-25
PCT/US2019/058218 WO2020092178A1 (en) 2018-10-29 2019-10-25 Techniques for real-time mapping in a movable object environment
USPCT/US2019/058219 2019-10-25
US16/664,743 US10983201B2 (en) 2018-10-29 2019-10-25 User interface for displaying point clouds generated by a lidar device on a UAV
US16/664,743 2019-10-25
PCT/US2019/058219 WO2020092179A1 (en) 2018-10-29 2019-10-25 A movable object for performing real-time mapping
PCT/CN2019/113725 WO2020088414A1 (en) 2018-10-29 2019-10-28 A movable object performing real-time mapping using a payload assembly

Publications (1)

Publication Number Publication Date
CN113196197A true CN113196197A (zh) 2021-07-30

Family

ID=70326830

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201980071644.0A Pending CN112955713A (zh) 2018-10-29 2019-10-25 用于在可移动物体环境中进行实时地图构建的技术
CN201980071156.XA Pending CN113015677A (zh) 2018-10-29 2019-10-25 用于执行实时地图构建的可移动物体
CN201980071197.9A Pending CN113196197A (zh) 2018-10-29 2019-10-28 使用有效载荷组件执行实时地图构建的可移动物体

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201980071644.0A Pending CN112955713A (zh) 2018-10-29 2019-10-25 用于在可移动物体环境中进行实时地图构建的技术
CN201980071156.XA Pending CN113015677A (zh) 2018-10-29 2019-10-25 用于执行实时地图构建的可移动物体

Country Status (5)

Country Link
US (6) US10983201B2 (zh)
EP (3) EP3803273A4 (zh)
JP (1) JP2022502784A (zh)
CN (3) CN112955713A (zh)
WO (2) WO2020092179A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114815903A (zh) * 2022-06-29 2022-07-29 沃飞长空科技(成都)有限公司 飞行航线视景展示方法、装置、飞行器及存储介质

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102476404B1 (ko) * 2017-07-18 2022-12-12 엘지이노텍 주식회사 ToF 모듈 및 그 ToF 모듈을 이용한 피사체 인식장치
CN107797129B (zh) * 2017-10-13 2020-06-05 重庆市勘测院 无gnss信号下的点云数据采集方法及装置
US10937202B2 (en) * 2019-07-22 2021-03-02 Scale AI, Inc. Intensity data visualization
US11556000B1 (en) 2019-08-22 2023-01-17 Red Creamery Llc Distally-actuated scanning mirror
US20210247506A1 (en) * 2020-02-12 2021-08-12 Aptiv Technologies Limited System and method of correcting orientation errors
US10983681B1 (en) * 2020-04-07 2021-04-20 Gm Cruise Holdings Llc Image identification system
JP2023526021A (ja) 2020-05-11 2023-06-20 コグネックス・コーポレイション 点群ヒストグラムを生成する方法及び装置
DE102020206940A1 (de) 2020-06-03 2021-12-09 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Rendern einer Ansicht einer dreidimensionalen Szene
WO2022077829A1 (en) * 2020-10-12 2022-04-21 SZ DJI Technology Co., Ltd. Large scope point cloud data generation and optimization
WO2022077218A1 (en) * 2020-10-13 2022-04-21 SZ DJI Technology Co., Ltd. Online point cloud processing of lidar and camera data
CN115243053B (zh) * 2021-04-22 2024-04-16 腾讯科技（深圳）有限公司 点云编解码方法及相关设备
WO2023287829A1 (en) * 2021-07-12 2023-01-19 Cyngn, Inc. Adaptive motion compensation of perception channels
WO2023120430A1 (ja) * 2021-12-23 2023-06-29 パイオニア株式会社 情報処理装置、制御方法、プログラム及び記憶媒体
US20230242250A1 (en) * 2022-01-31 2023-08-03 Skydio, Inc. Aerial Vehicle Path Determination
CN114967716B (zh) * 2022-04-02 2024-05-03 中国人民解放军海军航空大学 一种基于四元数球面线性插值的固定翼飞机姿态控制方法
CN115267815A (zh) * 2022-06-10 2022-11-01 合肥工业大学 一种基于点云建模的路侧激光雷达组群优化布设方法
US20230419658A1 (en) * 2022-06-23 2023-12-28 Lockheed Martin Corporation Real time light-detection and ranging point decimation
US20230415891A1 (en) * 2022-06-24 2023-12-28 General Atomics Aeronautical Systems, Inc. Relative navigation for aerial recovery of aircraft

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1062257A (zh) 1991-12-25 1992-06-24 郑钟豪 电路板内制作开关、电位器的方法
US5376759A (en) 1993-06-24 1994-12-27 Northern Telecom Limited Multiple layer printed circuit board
US6665063B2 (en) 2001-09-04 2003-12-16 Rosemount Aerospace Inc. Distributed laser obstacle awareness system
US8121399B2 (en) * 2005-12-16 2012-02-21 Ihi Corporation Self-position identifying method and device, and three-dimensional shape measuring method and device
US8087315B2 (en) * 2006-10-10 2012-01-03 Honeywell International Inc. Methods and systems for attaching and detaching a payload device to and from, respectively, a gimbal system without requiring use of a mechanical tool
FR2961601B1 (fr) 2010-06-22 2012-07-27 Parrot Procede d'evaluation de la vitesse horizontale d'un drone, notamment d'un drone apte au vol stationnaire autopilote
EP2511656A1 (de) 2011-04-14 2012-10-17 Hexagon Technology Center GmbH Vermessungssystem zur Bestimmung von 3D-Koordinaten einer Objektoberfläche
US9300980B2 (en) * 2011-11-10 2016-03-29 Luca Rossato Upsampling and downsampling of motion maps and other auxiliary maps in a tiered signal quality hierarchy
US9129524B2 (en) * 2012-03-29 2015-09-08 Xerox Corporation Method of determining parking lot occupancy from digital camera images
US9157743B2 (en) 2012-07-18 2015-10-13 Honeywell International Inc. Systems and methods for correlating reduced evidence grids
US9046600B2 (en) * 2012-12-05 2015-06-02 Toyota Motor Engineering & Manufacturing North America, Inc. Method and apparatus for intensity calibration of multi-beam lidar sensors
WO2015051501A1 (en) * 2013-10-08 2015-04-16 SZ DJI Technology Co., Ltd Apparatus and methods for stabilization and vibration reduction
US9751639B2 (en) * 2013-12-02 2017-09-05 Field Of View Llc System to control camera triggering and visualize aerial imaging missions
CN103941748B (zh) 2014-04-29 2016-05-25 百度在线网络技术（北京）有限公司 自主导航方法及系统和地图建模方法及系统
WO2016086380A1 (zh) * 2014-12-04 2016-06-09 深圳市大疆创新科技有限公司 一种物体检测方法、装置及遥控移动设备、飞行器
US10163255B2 (en) * 2015-01-07 2018-12-25 Geopogo, Inc. Three-dimensional geospatial visualization
US9678199B2 (en) 2015-01-30 2017-06-13 Qualcomm Incorporated Propulsion device lidar system and method
CN204489196U (zh) 2015-02-12 2015-07-22 深圳大学 一种燃料动力多旋翼无人机
US9592908B2 (en) * 2015-03-18 2017-03-14 Amazon Technologies, Inc. Adjustable landing gear assembly for unmanned aerial vehicles
EP3078935A1 (en) 2015-04-10 2016-10-12 The European Atomic Energy Community (EURATOM), represented by the European Commission Method and device for real-time mapping and localization
CN104851127B (zh) * 2015-05-15 2017-07-04 北京理工大学深圳研究院 一种基于交互的建筑物点云模型纹理映射方法及装置
US20160349746A1 (en) * 2015-05-29 2016-12-01 Faro Technologies, Inc. Unmanned aerial vehicle having a projector and being tracked by a laser tracker
US10336451B2 (en) 2015-06-30 2019-07-02 Gopro, Inc. Coupling assembly for a removable propeller
WO2017000316A1 (en) 2015-07-02 2017-01-05 SZ DJI Technology Co., Ltd. Gimbal for image capturing
CN108137151B (zh) * 2015-09-11 2021-09-10 深圳市大疆灵眸科技有限公司 用于无人飞行器的载体
US10613546B2 (en) * 2015-12-02 2020-04-07 Qualcomm Incorporated Stochastic map-aware stereo vision sensor model
JP6987797B2 (ja) 2016-03-11 2022-01-05 カールタ インコーポレイテッド リアルタイムオンラインエゴモーション推定を有するレーザスキャナ
US9845161B2 (en) 2016-04-22 2017-12-19 Sharper Shape Oy System and method for calculating weight distribution of drone
WO2017183001A1 (en) * 2016-04-22 2017-10-26 Turflynx, Lda. Automated topographic mapping system"
CN106022381B (zh) * 2016-05-25 2020-05-22 厦门大学 基于车载激光扫描点云的路灯杆自动提取方法
US9996944B2 (en) 2016-07-06 2018-06-12 Qualcomm Incorporated Systems and methods for mapping an environment
CN106225790B (zh) * 2016-07-13 2018-11-02 百度在线网络技术（北京）有限公司 一种无人车定位精度的确定方法及装置
CN205931287U (zh) * 2016-08-04 2017-02-08 数字鹰（泰州）农业科技有限公司 一种无人机摄像视野扩展装置
US10066946B2 (en) 2016-08-26 2018-09-04 Here Global B.V. Automatic localization geometry detection
EP3306344A1 (en) 2016-10-07 2018-04-11 Leica Geosystems AG Flying sensor
WO2018107330A1 (en) * 2016-12-12 2018-06-21 SZ DJI Technology Co., Ltd. Method and system for stabilizing a payload
CN108227749A (zh) 2016-12-14 2018-06-29 昊翔电能运动科技(昆山)有限公司 无人机及其追踪系统
US10445928B2 (en) * 2017-02-11 2019-10-15 Vayavision Ltd. Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types
JP6811336B2 (ja) 2017-02-24 2021-01-13 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ マルチジンバル組立体
JP7253503B2 (ja) 2017-02-26 2023-04-06 ユーゲットアイティーバック リミティッド モバイル・デバイス障害状態の検出のためのシステムおよび方法
CN110325818B (zh) * 2017-03-17 2021-11-26 本田技研工业株式会社 经由多模融合的联合3d对象检测和取向估计
WO2018180097A1 (ja) 2017-03-29 2018-10-04 パイオニア株式会社 サーバ装置、端末装置、通信システム、情報受信方法、情報送信方法、情報受信用プログラム、情報送信用プログラム、記録媒体、及びデータ構造
CN107640327A (zh) 2017-05-03 2018-01-30 天宇科技有限公司 无人机及包含所述无人机的装置
WO2019029551A1 (en) * 2017-08-10 2019-02-14 Hangzhou Zero Zero Technology Co., Ltd. SYSTEM AND METHOD FOR AVOIDING OBSTACLES IN AIR SYSTEMS
US10649459B2 (en) 2018-04-26 2020-05-12 Zoox, Inc. Data segmentation using masks

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114815903A (zh) * 2022-06-29 2022-07-29 沃飞长空科技(成都)有限公司 飞行航线视景展示方法、装置、飞行器及存储介质

Also Published As

Publication number Publication date
US20210239815A1 (en) 2021-08-05
CN113015677A (zh) 2021-06-22
EP3793899A4 (en) 2021-07-07
US10983201B2 (en) 2021-04-20
EP3793899A1 (en) 2021-03-24
US20210241514A1 (en) 2021-08-05
EP3735626A1 (en) 2020-11-11
CN112955713A (zh) 2021-06-11
US20200132822A1 (en) 2020-04-30
US11698449B2 (en) 2023-07-11
EP3803273A4 (en) 2021-11-17
US20230296745A1 (en) 2023-09-21
EP3803273A1 (en) 2021-04-14
US20210239814A1 (en) 2021-08-05
US20210341614A1 (en) 2021-11-04
JP2022502784A (ja) 2022-01-11
WO2020092179A1 (en) 2020-05-07
WO2020092178A1 (en) 2020-05-07

Similar Documents

Publication Publication Date Title
CN113196197A (zh) 使用有效载荷组件执行实时地图构建的可移动物体
US11263761B2 (en) Systems and methods for visual target tracking
US10802509B2 (en) Selective processing of sensor data
US10475209B2 (en) Camera calibration
US10599149B2 (en) Salient feature based vehicle positioning
US10930000B2 (en) Method and system for detecting and tracking objects using characteristic points
WO2020088414A1 (en) A movable object performing real-time mapping using a payload assembly
CN117310739A (zh) 在可移动物体之间共享绘图数据的技术
US20200051443A1 (en) Systems and methods for generating a real-time map using a movable object
WO2017206179A1 (en) Simple multi-sensor calibration
CN111670339B (zh) 用于无人飞行器和地面载运工具之间的协作地图构建的技术
US20210404840A1 (en) Techniques for mapping using a compact payload in a movable object environment
US20230177707A1 (en) Post-processing of mapping data for improved accuracy and noise-reduction
US20230259132A1 (en) Systems and methods for determining the position of an object using an unmanned aerial vehicle
US20220113421A1 (en) Online point cloud processing of lidar and camera data
WO2018218508A1 (en) Method and system for operating a movable platform using ray-casting mapping
US20230316939A1 (en) Collision detection and avoidance for unmanned aerial vehicle systems and methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination