CN114821363A - 一种基于语义信息匹配的无人机定位建图方法及系统 - Google Patents

一种基于语义信息匹配的无人机定位建图方法及系统 Download PDF

Info

Publication number
CN114821363A
CN114821363A CN202210318166.2A CN202210318166A CN114821363A CN 114821363 A CN114821363 A CN 114821363A CN 202210318166 A CN202210318166 A CN 202210318166A CN 114821363 A CN114821363 A CN 114821363A
Authority
CN
China
Prior art keywords
data
point cloud
map
laser point
cloud data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210318166.2A
Other languages
English (en)
Inventor
范锐军
陈潇
刘佳浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qunzhou Technology Shanghai Co ltd
Original Assignee
Qunzhou Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qunzhou Technology Shanghai Co ltd filed Critical Qunzhou Technology Shanghai Co ltd
Priority to CN202210318166.2A priority Critical patent/CN114821363A/zh
Publication of CN114821363A publication Critical patent/CN114821363A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Geometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Graphics (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明公开了一种基于语义信息匹配的无人机定位建图方法及系统，属于人工智能领域。针对现有无人机定位建图精准度不高且效率慢的问题，本发明提供一种基于语义信息匹配的无人机定位建图方法，包括以下步骤：激光数据、经纬高数据和RPY角度数据的获取；对激光数据进行语义分割和语义匹配；随后与平移变化和旋转变化进行融合定位；最终输出结果。本发明通过对激光数据进行剔除降低数据处理量，提高工作效率，同时通过语义匹配的方法能够有效关联相邻帧间数据信息，从而更精确的获取定位信息，建图可信度也同步提高，整个方法精准度得到有效保证的同时鲁棒性和抗干扰能力更强。本发明的系统组成简单，工作效率高，数据处理快的同时保证精准度。

Description

一种基于语义信息匹配的无人机定位建图方法及系统
技术领域
本发明属于人工智能技术领域，更具体地说，涉及一种基于语义信息匹配的无人机定位建图方法及系统。
背景技术
目前，无人机在军事，工业领域的应用已越来越多。尤其在场景测量，物资运输等方面越加凸显其经济实用，具有轻量方便等优势。而使用无人机实时定位并构建环境地图便是一个重要的应用方向。小型无人机多采用远程遥控方式，其可携带重量较低，无法有效携带可长期稳定工作的感知设备，且其工作半径受限于可控制半径，地图构建具有较大的局限性；中大型无人机配备有相机、激光等感知和导航控制系统，其可携带重量与续航相比较良好，控制半径通常也可达几公里，甚至不需遥控而自主完成任务。当前有定位建图需求的智能化设备市场应用多为结构化道路的车辆(例如高精地图下的辅助驾驶功能)，室内机器人(例如扫地、送餐机器人)等，而无人机在外界环境中的应用主要集中在摄像航拍，集群表演等，还有少部分用于测绘，运输等任务；这类智能化设备，其感知融合定位与构图方法多采用激光点云匹配方法或与RTK、GPS、IMU等信息融合，达到收敛标准后更新。
但在现有的多传感器融合定位及建图(SLAM，Simultaneous Localization andMapping，同步定位与构图)方案中：智能车与机器人的工作环境大多数具备较强的结构特性，例如道路，房间等，且其在地面多为轮式或足式分布结构，故根据其特性，在SLAM解决方案的选取上可以较好的去除高度轴向上的影响，而无人机的飞行状态较为灵活，必须能够有效迭代高度轴向的变化；而当前无人机上的定位建图应用，又分为视觉、激光两大主流方向：a.视觉测量距离的精确性相对较差，在远距离时其误差偏移难以收敛，且视觉传感器又多依据可见光原理，故其受外界曝光、阴影等条件时表现较差，难以满足鲁棒性需求；b.在激光方案中，常见的SLAM方案主要为多源融合点云匹配，其整体精度不高，且算法设计结构复杂。
如中国专利申请号CN201810597661.5，公开日为2018年7月20日，该专利公开了一种基于三维激光雷达的无人机多场景定位及三维地图建图方法，在室内环境下无GPS信号时搭建基于三维激光传感器的SLAM算法进行定位与三维地图构建，在室外环境下以RTK提供的位置信息为主进行三维地图构建，在RTK丢失GPS信号后由SLAM进行辅助定位。实现室内外三维地图的快速构建，为环境三维地图获取提供了便捷高效的方法，很大程度提高室内外环境三维地图构建的效率；在图优化SLAM算法的理论基础上，完成了基于三维激光传感器的无人机平台SLAM算法构建，实现了无GPS信号环境下环境三维地图的构建，解决了无人机在室内定位以及室内室外定位融合问题，实现了多场景无人机定位的需求，在获取高精度位姿信息的基础上，融合激光数据，完成三维地图的构建。该专利的不足之处在于：采用RTK信息与激光点云边面特征匹配进行融合定位建图，此种方案在点云特征提取时精度不高，且帧间关联信息未能使用，在建图时精度会有所下降，结果收敛需求相对高。
又如中国专利申请号CN202111297853.2，公开日为2022年1月28日，该专利公开了一种基于SLAM的无人机三维地图构建与定位方法及装置，其中方法包括：对激光雷达设备获取的多帧初始点云数据进行降噪预处理，得到多帧第一点云数据；对各帧所述第一点云数据过滤地面静态目标及动态目标，得到第二点云数据；基于第一匹配算法对相邻两帧所述第二点云数据的四个共面点进行匹配，得到第一点云匹配结果；基于第二匹配算法对所述第一点云匹配结果进行迭代计算，得到各帧所述第二点云数据及其对应的无人机的第一航行姿态信息。该专利的不足之处在于：算法运行复杂，效率低，整体建图精度不高。
发明内容
1、要解决的问题
针对现有无人机定位建图精准度不高且效率慢的问题，本发明提供一种基于语义信息匹配的无人机定位建图方法及系统。本发明通过对激光数据进行剔除降低数据处理量，提高工作效率，同时通过语义匹配的方法能够有效关联相邻帧间数据信息，从而更精确的获取定位信息，建图可信度也同步提高，整个方法精准度得到有效保证的同时鲁棒性和抗干扰能力更强。本发明的系统组成简单，工作效率高，数据处理快的同时保证精准度。
2、技术方案
为解决上述问题，本发明采用如下的技术方案。
一种基于语义信息匹配的无人机定位建图方法，包括以下步骤：
S1：获取多帧激光点云数据，同时获取与多帧激光点云数据时间同步的多帧经纬高数据和多帧RPY角度数据，以最初一帧经纬高数据和最初一帧RPY角度数据为基础获得初始坐标系，以最初一帧的激光点云数据为基础进行初始化构建地图；
S2：对步骤S1中剩余的每一帧激光点云数据进行语义分割，剔除激光点云数据中的动态目标；
S3：对步骤S2中相邻两帧激光点云数据进行语义匹配，获取相邻两帧激光点云数据的位姿变化；
S4：对剩余帧的经纬高数据进行求取相邻两帧经纬高数据的平移变化，对剩余帧的RPY角度数据进行求取相邻两帧RPY角度数据的旋转变化；
S5：将步骤S4获得的平移变化和旋转变化与步骤S3获得的位姿变化进行融合定位获得融合后的位姿数据，随后进行结果输出。
更进一步的，述步骤S2具体包括如下步骤：
S21：对激光点云数据进行降采样；
S22：对降采样之后的激光点云数据进行目标检测，将目标分为静态目标和动态目标两类，并将目标对应打上分类标签；
S23：剔除步骤S22中激光点云数据中的动态目标。
更进一步的，所述步骤S22中静态目标又分为人造物和自然环境，不同人造物目标对应设置不同的标签，自然环境则不设置标签。
更进一步的，步骤S23中剔除动态目标的具体步骤为：当同一个标记出来的动态目标解算出的中心位姿在连续3帧的变化均超过了阈值，则认为其在变化，对其进行剔除。
更进一步的，所述步骤S5中结果输出之前还包括地图校正更新，其具体包括：将前后两帧融合后的位姿数据进行做差，其差值满足下列三项任一项条件则更新地图后进行结果输出：a：在非高度轴的其他轴向位移超出1.0m；b：在高度轴向上位移超出0.5m；c：在任一轴向的角度偏差超出10°。
更进一步的，所述地图校正更新的模式分为以下几种：
当步骤S3中相邻两帧激光点云数据之间的匹配度高于设定值时，则地图仅更新非重叠部分；
当步骤S3中相邻两帧激光点云数据之间的匹配度低于设定值，但融合后的位姿数据在定位收敛范围内，则在原有地图上更新当前位姿变换后的激光点云数据；
当融合后的位姿数据超出定位收敛范围，则不更点地图；当连续五帧融合后的位姿数据均出现此种情况，备份已有地图，将新观测的激光点云数据添加至当前已有地图，并给出地图预警信号。
更进一步的，当持续更新的地图文件大小超过预设值时，则对地图文件进行存储截断，并重复S1～S5的步骤进行定位建图。
更进一步的，地图输出结果包括两种方式：持续更新的子图；全局总览地图，全局总览地图包括若干个由超过预设值大小截断产生的子图。
一种使用如上述任一项所述的基于语义信息匹配的无人机定位建图方法的系统，包括：
激光雷达：用于获取激光点云数据；
GPS：用于获取经纬高数据；
惯导RTK：用于获取RPY角度数据；
平移变化和旋转变化模块：用于对GPS读取的数据进行解算得到平移变化和用于对惯导RTK读取的数据进行解算得到旋转变化；
建图初始化模块：用于建立初始化环境地图；
语义分割模块：用于对每一帧激光点云数据进行语义分割，并剔除激光点云数据中的动态目标；
语义匹配模块：用于对相邻两帧激光点云数据进行语义匹配，得到位姿变化；
融合定位模块：用于对语义匹配模块中的结果和平移变化和旋转变化模块中的结果进行融合；
输出模块：用于对结果进行输出。
3、有益效果
相比于现有技术，本发明的有益效果为：
(1)本发明通过用最初的一帧激光点云数据初始化建图，随后对每一帧激光点云数据进行语义分割，进行剔除掉激光点云数据中的动态目标，降低了数据后续计算量并且简化了激光点云的模型；然后通过语义匹配的方法能够有效关联相邻帧间数据信息，从而更精确的获取定位信息，使其定位精确度相比使用线面特征提取匹配的定位精度高，建图可信度同步提高的同时操作实时性高；最后将语义匹配的结果与平移变化及旋转变化进行融合进一步获得精确度相对高的定位信息，由定位信息更新地图，输出结果；整个方法精准度得到有效保证的同时鲁棒性和抗干扰能力更强，并且采用的算法设计结构复杂度低，提高工作效率且降低开发成本；
(2)本发明在进行语义分割之前先对激光点云数据采用体素滤波的方式进行降采样，在尽可能保留点云结构的同时减小点数的计算压力，从而进一步的提高计算效率；并且根据静态目标的属性又将静态目标分为了人造物和自然环境，对激光点云数据进行更为细致的标签划分，为后续地图的建立提供了更为细致的基础，保证地图建立的全面性；更对剔除动态目标的方式做出具体限定，保证动态目标剔除的准确性与完整性，减小剔除目标所带来的误差，降低后续目标处理的工作量；
(3)本发明为了进一步保证地图建立的精准度，在结果输出之前还增加地图校正更新步骤；并且通过对前后两帧融合后的位姿数据进行做差，其差值满足三项任一项则进行地图更新，更新全面继而保证最终地图建立的精准度；同时根据不同的情况对应进行不同的更新方式，避免大幅度更新已有的确定环境或避免某种数据发生较大偏差时造成地图构建不精准的情况发生，不同的情况选择对应最有效的更新方式，提高工作效率同时节省资源，降低时间与人力物力成本；
(4)本发明的系统中各模块之间独立工作的同时又相互依赖，组成简单，工作效率高；同时整个系统具有较高的鲁棒性和抗干扰能力，采用激光雷达数据语义匹配的定位精准度更高，并且系统能够有效对相邻帧间数据进行关联，获取更精准的定位消息，为无人机定位建图提供了强有力的基础和保障。
附图说明
图1为本发明的流程示意图。
具体实施方式
下面结合具体实施例和附图对本发明进一步进行描述。
实施例1
随着无人机应用越来越广泛，利用无人机进行实时定位并对未知环境进行构建环境地图是一个非常重要的应用方向，现有利用无人机进行构建环境地图大多采用复杂的算法，建图精度低，且实时性与操作性都较差。现本申请提出一种基于语义信息匹配的无人机定位建图方法，如图1所示，能够克服上述缺陷，其具体包括以下步骤：
S1：获取多帧激光点云数据，同时获取与多帧激光点云数据时间同步的多帧经纬高数据和多帧RPY角度数据，经纬高数据与RPY角度数据均是对无人机进行的测量；这里的时间同步即是指每帧激光点云数据、每帧经纬高数据以及每帧RPY角度数据均为同一时间接收，保证数据的同步性，降低误差；以最初一帧经纬高数据和最初一帧RPY角度数据为基础获得初始坐标系，以最初一帧的激光点云数据为基础进行初始化构建地图；具体是指最初一帧的激光点云数据的附属坐标信息由经纬高数据进行转换得到轴向距离和PRY角度数据进行转换得到RPY(Roll，Pitch，Yaw，三个姿态角)，由此获得初始坐标系，即第一帧激光点云的数据是由第一帧经纬高数据和第一帧RPY角度数据进行定位，并以此为基础建立地图；同时在进行步骤S1之前，数据坐标对齐与信息源时钟同步已配置完成；
S2：对步骤S1中剩余的每一帧激光点云数据进行语义分割，剔除激光点云数据中的动态目标，因动态目标对后续的解算参考意义较小，因此对激光点云数据中的动态目标进行剔除，降低数据后续计算量并且简化激光点云的模型，提高效率；其具体包括如下步骤：
S21：对激光点云数据进行降采样，可采用体素滤波(譬如采取长宽高为0.2m*0.2m*0.2m的体素leaf，可以将点云以网格化方法降维，同时其本身具备的角点，平面，框架等结构不会受到大幅影响)等方式进行降采样，从而提高处理效率；且体素滤波的方式能够尽可能保留点云结构的同时减少点数的计算压力，进一步提高处理效率；
S22：对降采样之后的激光点云数据进行目标检测，将目标分为静态目标和动态目标两类，并将目标对应打上分类标签；即该步骤通过对激光点云进行目标检测并对应分割出一系列的点簇，并随后进行打上分类标签，分类标签将目标分为静态目标和动态目标两个部分，简化模型，提高效率；更进一步的，静态目标根据其属性又分为人造物和自然环境，人造物譬如地面路桥、墙体、车辆、线杆高塔等，人造物由于不同目标的不同特征，譬如地面路桥其在激光点云数据上表现为大量连续的平面点(这种连续表现为这一系列点的表面法向量朝向基本相同且具备较好的边界特性)，而车辆表现为一个具备box外形的点云(这种具备box外形的点云，其在各轴上的连通域所构成的边界，具有较好的棱柱特性)，墙体具备垂直地面的连续平面点，线杆高塔则呈现垂直于地面的窄长形点云，人造物产生的激光点云具有明显的可分离特性，因此对不同人造物目标对应设置不同的标签；而自然环境譬如树木(树冠与树干)，草丛，坡地等，此类自然环境产生的点云不具有明显的可分离特性，故不对此类自然环境的点云设置标签，但是此类点云数据依然作为数据的一部分输入到后续步骤中；该步骤进一步对静态目标做出更近一层的划分，为后续地图的建立提供了更为细致的基础，保证地图建立的全面性和准确性；
S23：剔除步骤S22中激光点云数据中的动态目标，剔除的具体步骤如下：动态目标通过帧间解算迭代剔除，当同一个标记出来的动态目标解算出的中心位姿在连续3帧的变化均超过了阈值，则认为其在变化，对其进行剔除；具体可为当同一个标记出来的动态目标解算出来的中心位姿在连续3帧的变化都超过了一定的阈值(三个平移轴向变化超出0.1m，三个转角变化超出0.5°，换算成速度，由激光频率为10HZ求解，即当三轴任一轴向速度超过1m/s，三轴任一角速度超过5°/s时)，则认为其在变化，从环境中剔除，后续再观测到时依旧按照此方法筛选；在这进行说明的是，此处的阈值并不是一成不变的，可以根据现场情况以及部件属性做出适应的调整；
S3：对步骤S2中相邻两帧激光点云数据进行语义匹配，获取相邻两帧激光点云数据的位姿变化；通过步骤S2对每一帧激光点云数据进行语义分割后，激光点云数据环境中的物体被分为了若干个带标签的目标和一些不属于类特性的点云，由于在连续帧中，每一个目标在点云中的变化对应了激光雷达自身的变化关系，因此使用点云匹配算法便可以求解出这个变化关系，匹配算法可以使用NDT(Normal Distributions Transform，正态分布变换)或ICP(Iterative Closest Point，迭代最近点方法)方法，本实施例中采用NDT算法，即比较不同帧点云间的正态分布情况，匹配完成后，后端使用非线性优化方法，例如最速法，牛顿法，LM(Levenberg-Marquardt，列文伯格-马夸尔特)方法等，使得匹配误差函数项最小化(在嵌入式开发板上采用C++库ceres或g2o等实现)，便得到了最优的变化关系，这样提取语义并做匹配的方法相比传统线面特征的提取匹配，更具有目标性，使得匹配准确度得到极大的提高(例如在某些使用环境下，其算法优化迭代次数可以设置为30-50次，其网格分辨率可以设置为1.0m，而其搜索步长则可以设置为0.2m等)，经过语义匹配后能够得到由激光点云数据输入的位姿变化，即得到一组关于旋转平移关系的矩阵[R,T]；
同时，在该步骤中考虑到当激光点云数据环境中可以有效分离出来的语义目标较少，例如少于2个语义点簇时，认为当前帧不可使用语义匹配，则直接使用NDT的方式(此时直接将降采样的点云做匹配)，获取点云的空间分布密度情况，直接与下一帧点云做匹配来求解位姿变化，对影响因素充分考虑，进一步保证建图的精准度；
S4：对剩余帧的经纬高数据进行求取相邻两帧经纬高数据的平移变化，具体的，可通过无人机上的GPS测得经纬高数据，并对经纬高数据进行坐标转换即将经纬高数据对齐到机体坐标并做差得到一组平移变化矩阵T’；对剩余帧的RPY角度数据进行求取相邻两帧RPY角度数据的旋转变化，具体的，可通过无人机上的惯导RTK测得RPY角度数据，将RPY角度数据转换到机体坐标，通过RTK角度积分关系做差可以获得帧间RPY的变化得到一组旋转变化矩阵R’；
S5：将步骤S4获得的平移变化和旋转变化与步骤S3获得的位姿变化进行融合定位获得融合后的位姿数据，随后进行结果输出。该步骤中由于通过语义匹配获取到的结果是直接由点云关系获取的，故存在一定的误差，所以需要在融合定位步骤中，对各项结果做优化，使得结果收敛，通常对于这样两组[R,T]关系的融合，可以使用卡尔曼滤波等方法；融合定位完成后，输出一个精确度相对高的位姿变换[Rk+1,Tk+1]，表示为到第k+1时刻的定位结果，由该定位结果更新地图，随后将定位结果和地图结果进行输出，可采用将结果封装至消息和本地文件，以供软件下游或后期离线分析使用。
本发明通过将获取到的激光点云数据用最初的一帧激光点云数据初始化建图，随后对每一帧激光数据进行语义信息提取及数据处理，再使用匹配方法解算语义信息，获取由激光输入的位姿变化；由获取到的GPS数据，对其进行坐标转换，将经纬高数据对齐到机体坐标，获取到平移变化；由获取的惯导RTK的数据，对其进行坐标转换，将RPY(Roll，Pitch，Yaw，三个姿态角)信息转换到机体坐标，获取旋转变化，将语义匹配的结果和GPS平移变化及惯导RTK旋转变化进行融合获取定位信息，由这个定位信息更新地图，随后将定位结果和地图结果输出。整个方法通过语义匹配加强帧间数据之间的关联，从而更精准的获取定位信息，并且建图可信度也在同步提高，操作实时性强；整个方法所使用的的算法结构复杂程度低，操作实时性强。
实施例2
基本同实施例1，为了进一步保证地图绘制的完整性与精准度，本实施例中在步骤S5中结果输出之前还包括地图校正更新的步骤，当激光点云数据仅为第一帧即最初一帧时是没有融合定位信息的，此时是根据RTK及GPS信息来确定第一帧激光点云数据时的无人机位姿信息，故当地图结果仅为第一帧激光点云数据时，将当前帧激光点云数据作为环境地图，其具有绝对位姿准确性。随着激光点云的持续输入，经纬高数据(GPS数据)与RPY角度数据(惯导RTK数据)不断输入并解算后，地图根据融合定位结果变化情况进行更新。其具体包括：将前后两帧融合后的位姿数据进行做差，其差值满足下列三项任一项条件则更新地图后进行结果输出：a：在非高度轴的其他轴向位移超出1.0m；b：在高度轴向上位移超出0.5m；c：在任一轴向的角度偏差超出10°，更新全面继而保证最终地图建立的精准度。
更进一步的，本实施例将地图校正更新的模式分为以下几种，且进行说明的是，激光点云数据的匹配度用match score进行表征，因本申请中语义匹配采用的是NDT算法，其会产生match score，当match score分数越低，相邻两帧激光点云数据的重合度就越高，则认为匹配度越高：
(1)当步骤S3中相邻两帧激光点云数据之间的匹配度高于设定值时，则地图仅更新非重叠部分；即当相邻两帧激光点云数据匹配度高，即NDT算法的match score得分小于1.0，地图仅更新非重叠部分，避免大幅度更新已有的确定环境，此时将环境中更新的细节描绘至原图；
(2)当步骤S3中相邻两帧激光点云数据之间的匹配度低于设定值即当相邻两帧激光点云数据匹配度不高，NDT算法的match score得分大于等于1.0，但融合后的位姿数据在定位收敛范围内(此处的定位收敛是已知的，是由各个传感器(激光雷达、GPS、惯导RTK)自身属性等原因综合决定的，定位收敛能够判断传感器是否发生故障或突发情况)，此种情况为无人机发生了较大的位姿变化，此时观测到的环境有较多更新，则在原有地图上更新当前位姿变换后的激光点云数据；
(3)当融合后的位姿数据超出定位收敛范围，即表示数据变化可能了突变超出收敛范围，此时为了安全起见则不更点地图；当连续五帧融合后的位姿数据均出现此种情况，备份已有地图，将新观测的激光点云数据添加至当前已有地图，并给出地图预警信号，及时提醒工作人员的注意，保证建图过程中的及时性与安全性。不同的情况选择对应最有效的更新方式，提高工作效率同时节省资源，降低时间与人力物力成本。
同时，进一步考虑到文件的保存以及安全性，当持续更新的地图文件大小超过预设值(本实施例中为5MB)时，则对地图文件进行存储截断，并重复S1～S5的步骤进行定位建图，通过对持续更新的地图文件大小做出限定，其超过预设值便会对地图文件进行储存截断，保证数据正确储存，避免地图文件过大时造成后续无法打开或保存的现象发生。并且对应设置两种地图更新输出的结果包括：持续更新的子图；全局总览地图，全局总览地图包括若干个由超过预设值大小截断产生的子图及由于可能的定位误差引发警告而保留的数据图(对应地图更新方式的第三种情况)。
实施例3
一种使用如上述任一项所述的基于语义信息匹配的无人机定位建图方法的系统，包括：
激光雷达：用于获取激光点云数据；
GPS：用于获取无人机机体经纬高数据；
惯导RTK：用于获取无人机机体RPY角度数据；
平移变化和旋转变化模块：用于对GPS读取的数据进行解算得到平移变化和用于对惯导RTK读取的数据进行解算得到旋转变化；
建图初始化模块：用于建立初始化环境地图，根据GPS和惯导RTK的数据作为当前定位，将激光雷达的第一帧激光点云数据作为初始化环境地图；
语义分割模块：用于对每一帧激光点云数据进行语义分割，并剔除激光点云数据中的动态目标；
语义匹配模块：用于对相邻两帧激光点云数据进行语义匹配，得到位姿变化，该模块内具体采用NDT算法进行语义匹配，匹配完成后后端使用非线性优化方法使得匹配误差函数项最小化；
融合定位模块：用于对语义匹配模块中的结果和平移变化和旋转变化模块中的结果进行融合，该模块内具体采用卡尔曼滤波算法进行两组数据关系的融合，语义匹配模块中的结果即为相邻两帧激光点云数据进行语义匹配后的位姿变化；平移变化和旋转变化模块中的结果即为相邻两帧经纬高数据的平移变化和相邻两帧RPY角度数据的旋转变化；
输出模块：用于对结果进行输出，具体的，输出的结果包括定位结果输出与地图结果输出，定位结果输出则直接输出融合定位模块求取的定位数据；同时融合定位模块内的定位数据同步发送给地图更新模块，地图更新模块在建图初始化模块的基础上根据定位数据对地图进行更新随后进行全局地图结果的输出。
本发明的系统各模块之间独立工作的同时又相互依赖，组成简单，工作效率高；能够用于高效实时提供精确的定位与环境地图，并绘制全局地图，从而为后续工作任务提供环境信息，同时整个系统具有较高的鲁棒性和抗干扰能力，具备软件安全检查、复位启动等功能。
本发明所述实例仅仅是对本发明的优选实施方式进行描述，并非对本发明构思和范围进行限定，在不脱离本发明设计思想的前提下，本领域工程技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明的保护范围。

Claims (9)

1.一种基于语义信息匹配的无人机定位建图方法，其特征在于：包括以下步骤：
S1：获取多帧激光点云数据，同时获取与多帧激光点云数据时间同步的多帧经纬高数据和多帧RPY角度数据，以最初一帧经纬高数据和最初一帧RPY角度数据为基础获得初始坐标系，以最初一帧的激光点云数据为基础进行初始化构建地图；
S2：对步骤S1中剩余的每一帧激光点云数据进行语义分割，剔除激光点云数据中的动态目标；
S3：对步骤S2中相邻两帧激光点云数据进行语义匹配，获取相邻两帧激光点云数据的位姿变化；
S4：对剩余帧的经纬高数据进行求取相邻两帧经纬高数据的平移变化，对剩余帧的RPY角度数据进行求取相邻两帧RPY角度数据的旋转变化；
S5：将步骤S4获得的平移变化和旋转变化与步骤S3获得的位姿变化进行融合定位获得融合后的位姿数据，随后进行结果输出。
2.根据权利要求1所述的一种基于语义信息匹配的无人机定位建图方法，其特征在于：所述步骤S2具体包括如下步骤：
S21：对激光点云数据进行降采样；
S22：对降采样之后的激光点云数据进行目标检测，将目标分为静态目标和动态目标两类，并将目标对应打上分类标签；
S23：剔除步骤S22中激光点云数据中的动态目标。
3.根据权利要求2所述的一种基于语义信息匹配的无人机定位建图方法，其特征在于：所述步骤S22中静态目标又分为人造物和自然环境，不同人造物目标对应设置不同的标签，自然环境则不设置标签。
4.根据权利要求2或3所述的一种基于语义信息匹配的无人机定位建图方法，其特征在于：步骤S23中剔除动态目标的具体步骤为：当同一个标记出来的动态目标解算出的中心位姿在连续3帧的变化均超过了阈值，则认为其在变化，对其进行剔除。
5.根据权利要求1所述的一种基于语义信息匹配的无人机定位建图方法，其特征在于：所述步骤S5中结果输出之前还包括地图校正更新，其具体包括：将前后两帧融合后的位姿数据进行做差，其差值满足下列三项任一项条件则更新地图后进行结果输出：a：在非高度轴的其他轴向位移超出1.0m；b：在高度轴向上位移超出0.5m；c：在任一轴向的角度偏差超出10°。
6.根据权利要求5所述的一种基于语义信息匹配的无人机定位建图方法，其特征在于：所述地图校正更新的模式分为以下几种：
当步骤S3中相邻两帧激光点云数据之间的匹配度高于设定值时，则地图仅更新非重叠部分；
当步骤S3中相邻两帧激光点云数据之间的匹配度低于设定值，但融合后的位姿数据在定位收敛范围内，则在原有地图上更新当前位姿变换后的激光点云数据；
当融合后的位姿数据超出定位收敛范围，则不更点地图；当连续五帧融合后的位姿数据均出现此种情况，备份已有地图，将新观测的激光点云数据添加至当前已有地图，并给出地图预警信号。
7.根据权利要求5或6所述的一种基于语义信息匹配的无人机定位建图方法，其特征在于：当持续更新的地图文件大小超过预设值时，则对地图文件进行存储截断，并重复S1～S5的步骤进行定位建图。
8.根据权利要求7所述的一种基于语义信息匹配的无人机定位建图方法，其特征在于：地图输出结果包括两种方式：持续更新的子图；全局总览地图，全局总览地图包括若干个由超过预设值大小截断产生的子图。
9.一种使用如权利要求1-8任一项权利要求所述的基于语义信息匹配的无人机定位建图方法的系统，其特征在于：包括：
激光雷达：用于获取激光点云数据；
GPS：用于获取经纬高数据；
惯导RTK：用于获取RPY角度数据；
平移变化和旋转变化模块：用于对GPS读取的数据进行解算得到平移变化和用于对惯导RTK读取的数据进行解算得到旋转变化；
建图初始化模块：用于建立初始化环境地图；
语义分割模块：用于对每一帧激光点云数据进行语义分割，并剔除激光点云数据中的动态目标；
语义匹配模块：用于对相邻两帧激光点云数据进行语义匹配，得到位姿变化；
融合定位模块：用于对语义匹配模块中的结果和平移变化和旋转变化模块中的结果进行融合；
输出模块：用于对结果进行输出。
CN202210318166.2A 2022-03-29 2022-03-29 一种基于语义信息匹配的无人机定位建图方法及系统 Pending CN114821363A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210318166.2A CN114821363A (zh) 2022-03-29 2022-03-29 一种基于语义信息匹配的无人机定位建图方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210318166.2A CN114821363A (zh) 2022-03-29 2022-03-29 一种基于语义信息匹配的无人机定位建图方法及系统

Publications (1)

Publication Number Publication Date
CN114821363A true CN114821363A (zh) 2022-07-29

Family

ID=82529980

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210318166.2A Pending CN114821363A (zh) 2022-03-29 2022-03-29 一种基于语义信息匹配的无人机定位建图方法及系统

Country Status (1)

Country Link
CN (1) CN114821363A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116908818A (zh) * 2023-07-13 2023-10-20 广东喜讯智能科技有限公司 基于rtk无人机的激光雷达的标定方法、装置及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116908818A (zh) * 2023-07-13 2023-10-20 广东喜讯智能科技有限公司 基于rtk无人机的激光雷达的标定方法、装置及存储介质
CN116908818B (zh) * 2023-07-13 2024-05-28 广东喜讯智能科技有限公司 基于rtk无人机的激光雷达的标定方法、装置及存储介质

Similar Documents

Publication Publication Date Title
CN110070615B (zh) 一种基于多相机协同的全景视觉slam方法
CN109506642B (zh) 一种机器人多相机视觉惯性实时定位方法及装置
KR102053802B1 (ko) 센서를 위치판단하는 방법 및 관련된 장치
CN109631855A (zh) 基于orb-slam的高精度车辆定位方法
CN110068335A (zh) 一种gps拒止环境下无人机集群实时定位方法及系统
CN106092104A (zh) 一种室内机器人的重定位方法及装置
KR102200299B1 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
CN106826833A (zh) 基于3d立体感知技术的自主导航机器人系统
CN109615698A (zh) 基于互回环检测的多无人机slam地图融合算法
CN112734765B (zh) 基于实例分割与多传感器融合的移动机器人定位方法、系统及介质
CN114088087B (zh) 无人机gps-denied下高可靠高精度导航定位方法和系统
CN111366153B (zh) 一种激光雷达与imu紧耦合的定位方法
CN110298914A (zh) 一种建立果园中果树冠层特征地图的方法
CN113985429A (zh) 基于三维激光雷达的无人机环境扫描与重构方法
CN115272596A (zh) 一种面向单调无纹理大场景的多传感器融合slam方法
CN115183762A (zh) 一种机场仓库内外建图方法、系统、电子设备及介质
CN114821363A (zh) 一种基于语义信息匹配的无人机定位建图方法及系统
CN112907625A (zh) 应用于四足仿生机器人的目标跟随方法及系统
KR102130687B1 (ko) 다중 센서 플랫폼 간 정보 융합을 위한 시스템
Ma et al. Robust visual-inertial odometry with point and line features for blade inspection UAV
CN113960614A (zh) 一种基于帧-地图匹配的高程图构建方法
CN113403942A (zh) 一种基于标签辅助的桥梁检测无人机视觉导航方法
Hu et al. Efficient Visual-Inertial navigation with point-plane map
Meng et al. A 3D modeling algorithm of ground crop based on light multi-rotor UAV lidar remote sensing data
CN117611762B (zh) 一种多层级地图构建方法、系统及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination