CN116295507A - 一种基于深度学习的激光惯性里程计优化方法、系统 - Google Patents

一种基于深度学习的激光惯性里程计优化方法、系统 Download PDF

Info

Publication number
CN116295507A
CN116295507A CN202310603851.4A CN202310603851A CN116295507A CN 116295507 A CN116295507 A CN 116295507A CN 202310603851 A CN202310603851 A CN 202310603851A CN 116295507 A CN116295507 A CN 116295507A
Authority
CN
China
Prior art keywords
point cloud
laser
inertial
characteristic
inertial sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310603851.4A
Other languages
English (en)
Other versions
CN116295507B (zh
Inventor
赵家琦
钱伟行
蔡云飘
董家宜
庄杰飞
仇筱
杜晓玲
张添一
李超
陈希康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Normal University
Original Assignee
Nanjing Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Normal University filed Critical Nanjing Normal University
Priority to CN202310603851.4A priority Critical patent/CN116295507B/zh
Publication of CN116295507A publication Critical patent/CN116295507A/zh
Application granted granted Critical
Publication of CN116295507B publication Critical patent/CN116295507B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C22/00—Measuring distance traversed on the ground by vehicles, persons, animals or other moving solid bodies, e.g. using odometers, using pedometers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1652—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with ranging devices, e.g. LIDAR or RADAR
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G06F18/15—Statistical pre-processing, e.g. techniques for normalisation or restoring missing data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/72—Data preparation, e.g. statistical preprocessing of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2123/00—Data types
    • G06F2123/02—Data types in the time domain, e.g. time-series data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G06F2218/04—Denoising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Automation & Control Theory (AREA)
  • Navigation (AREA)

Abstract

本发明提出一种基于深度学习的激光惯性里程计优化方法，该方法包括基于深度学习的惯性传感器运动分类与可用度评估、基于深度学习的激光点云可用度评估和基于深度学习的激光惯性里程计优化。其中惯性传感器运动分类与可用度评估，是通过SENet+模型对惯性传感器数据进行运动分类，并基于运动分类结果完成惯性传感器可用度评估；激光点云可用度评估，是通过PointNet++模型对激光点云进行分类分割与可用度评估；激光惯性里程计优化，是基于惯性传感器、激光点云可用度信息，通过MLP模型生成并调整系统整体误差函数中各残差函数权重，提高激光惯导系统在复杂环境下定位建图的鲁棒性。

Description

一种基于深度学习的激光惯性里程计优化方法、系统
技术领域
本发明属于导航定位、深度学习技术领域，特别涉及复杂环境下激光惯导系统的定位优化方法。
背景技术
在自主导航技术中，通过SLAM（Simultaneous Localization and Mapping，简称SLAM）实时定位与地图构建技术感知周围环境并完成定位建图，在路径规划等实际应用中起到感知支撑的作用。近年来，激光惯导技术发展迅速，并且展现出比基于单一传感器更高的精度和更强的环境适应性。
由于激光惯导系统的性能很大程度上依靠激光雷达点云数据的质量，当激光雷达作为定位建图的主要传感器时，如遇到几何上连续重复或结构特征稀疏的场景时，由于缺乏某些方向上的约束，系统在几个自由度上的运动将难以估计，易出现精度退化甚至失效的情况。在单方向结构特征稀疏场景，如长直走廊、桥梁、高速公路等，激光匹配会存在一个方向上的额外自由度，较难预估此方向上的运动；在多方向结构特征稀疏场景，如广场、机场等开阔区域，由于仅使用地面点云进行匹配，缺少四周各个方向的约束，容易造成里程计的漂移与随机变动，对漂移的修正效果变差，长时间的累积存在较大误差。
发明内容
本发明所要解决的技术问题是：针对上述现有技术中存在的不足，提供了一种基于深度学习的激光惯性里程计优化方法，以解决适用于复杂环境下激光惯性里程计定位精度的优化问题。
本发明为解决以上技术问题而采用以下技术方案：
本发明首先提出一种基于深度学习的激光惯性里程计优化方法，具体如下：
第一部分，基于深度学习的惯性传感器运动分类与可用度评估，包括如下步骤：
步骤a1，对惯性传感器采集到的原始数据进行滤波、降噪和标准化等预处理，减少数据的噪声和干扰，提高数据的可分性。
采用弱标记数据集对综合运动类型信息进行训练，减少数据标注难度和成本，同时提高模型的泛化能力。
通过SENet+模型对预处理后的惯性传感器数据进行运动分类，在特征提取的过程中，通过增强特征映射通道间的交互信息，由注意力机制模块放大其中较为突出的活动数据，集中关注对分类任务有用的特征，并忽略对分类任务不重要的特征，最后滤除背景信息中不相关的干扰噪声，实现对惯性传感器信息样本较高精度的运动分类。
相较于传统CNN模型，SENet+模型通过添加自注意力机制，对不同时间步之间的特征进行加权，提高对重要时间步的关注程度，对惯性传感器信息中的时间序列信号进行分类，有效提高运动分类精度。
步骤a2，通过ResNet-GRU混合模型对预处理后的惯性传感器数据进行可用度评估，在运动分类信息的基础上，基于不同运动状态分别评估惯性传感器信息的精度和稳定性，通过捕捉惯性传感器数据中的局部相关特征，学习并提取输入数据中隐含的运动特征信息，同时进一步挖掘惯性数据的时序特征，完成惯性传感器在不同运动状态下数据精度及稳定性的评估。
第二部分，基于深度学习的激光点云可用度评估，包括如下步骤：
对激光雷达采集到的原始数据进行滤波、降噪和标准化等预处理，减少数据的噪声和干扰，提高数据的可用度。
采用PointNet++模型对预处理后的激光点云数据进行处理，通过多分辨率特征学习方法捕获点云中的不同尺度的特征，并通过可变形卷积模块对点云进行局部区域建模，优化局部特征提取效果，最后由特征池化方法对全局特征进行聚合，完成对整个点云的分类分割，根据分类分割结果及全局特征分布情况完成对激光点云的可用度评估。
相较于PointNet，PointNet++通过层次聚合方法，提高模型的分类分割性能，方便模型处理更复杂的点云数据。同时因其操作全部基于点集执行，可以处理任意数量的点，不需要进行网格化或体素化。
第三部分，所述基于深度学习的激光惯性里程计优化包括如下步骤：
步骤c1，激光特征残差函数构建
通过激光点云曲率计算结果提取激光点云中的特征点，根据曲率大小对特征点进行筛选，其中曲率大的为角特征点，曲率小的为面特征点。
将角特征点在不同线束的点云中选取最近一点构成线特征，面特征点从相同线束和不同线束的点云中各选取最近的一点构成面特征。
通过计算当前帧点云中的角特征点到上一帧点云线特征直线的距离构成线约束。通过计算当前帧点云中的面特征点到上一帧点云的面特征平面的距离构成面约束。
步骤c2，惯性传感器预积分残差函数构建
对当前帧与上一帧间惯性传感器的状态进行积分，获取世界坐标系下的当前帧姿态、速度和位置；
通过公式
Figure SMS_1
，将状态转移公式转化为预积分模型公式。
通过对当前帧与上一帧间状态进行约束，构建惯性传感器预积分残差函数。
步骤c3，系统整体误差函数构建
基于上述方法获取到的惯性传感器、激光点云可用度信息，通过MLP模型生成并调整系统整体位姿误差函数中各残差函数权重
Figure SMS_2
。
将激光线特征残差函数
Figure SMS_3
、激光面特征残差函数/>
Figure SMS_4
、惯性传感器预积分残差函数/>
Figure SMS_5
分别加入由上述方法获取到的各残差函数对应权重，构建系统整体位姿误差函数，其数学表达式如下：
Figure SMS_6
，
通过加入由上述方法获取到的各残差函数对应权重，MLP模型基于惯性传感器、激光点云可用度评估信息，自主调整在不同环境下各残差函数对系统整体位姿误差函数的影响，提高激光惯性里程计在复杂环境下定位的鲁棒性。
通过非线性最小二乘优化方法获取系统整体位姿误差函数最小时 X 的取值，最终得到系统整体最优位姿估计，完成激光惯性里程计优化。
同时将优化后的激光惯性里程计定位信息用于点云地图构建，减小点云运动畸变提高点云地图精度，优化激光惯导系统在特征稀疏场景下的建图精度。
本发明采用以上技术方案，相较于现有技术具有以下技术效果：
（1）本发明基于激光惯导系统中原有的传感器通过深度学习方法优化激光惯性里程计定位鲁棒性，无需额外添加传感器。
（2）本发明通过深度学习方法对惯性传感器、激光点云进行可用度评估，基于可用度评估结果调整系统整体位姿误差函数中各残差函数权重，提高复杂环境下激光惯性里程计定位精度。
（3）本发明通过深度学习方法调整系统整体位姿误差函数中各残差函数权重，可扩展性强，可以适用于多种多传感器信息融合定位建图系统在复杂环境下的定位优化。
附图说明
图1为本发明提供的一种基于深度学习的激光惯性里程计优化方法流程图。
图2为本发明提供的一种系统整体位姿误差函数构建优化方法流程图。
实施方式
下面结合附图和具体实施方式对本发明做更进一步的具体说明，应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限制本发明的范围。
本发明提供了一种基于深度学习的激光惯性里程计优化方法，包括基于深度学习的惯性传感器运动分类与可用度评估、基于深度学习的激光点云可用度评估和基于深度学习的激光惯性里程计优化，参考图1所示，具体流程如下：
第一部分，基于深度学习的惯性传感器运动分类与可用度评估。
步骤a1，对惯性传感器采集到的原始数据进行滤波、降噪和标准化等预处理，减少数据的噪声和干扰，提高数据的可分性。
采用弱标记数据集对综合运动类型信息进行训练，减少数据标注难度和成本，同时提高模型的泛化能力。
通过SENet+模型对预处理后的惯性传感器数据进行运动分类，在特征提取的过程中，通过增强特征映射通道间的交互信息，由注意力机制模块放大其中较为突出的活动数据，集中关注对分类任务有用的特征，并忽略对分类任务不重要的特征，最后滤除背景信息中不相关的干扰噪声，实现对惯性传感器信息样本较高精度的运动分类。
相较于传统CNN模型，SENet+模型通过添加自注意力机制，对不同时间步之间的特征进行加权，提高对重要时间步的关注程度，对惯性传感器信息中的时间序列信号进行分类，有效提高运动分类精度。
其核心SE模块通过压缩（Squeeze）操作，采用全局平均池化方法将一个通道上的所有空间特征编码获取其全局描述特征，其数学表达式如下：
Figure SMS_7
，
其中，
Figure SMS_8
为通道平均值，/>
Figure SMS_9
为计算平均值函数，/>
Figure SMS_10
和/>
Figure SMS_11
分别为图像的高度和宽度，/>
Figure SMS_12
为图像中第i行第j列像素在通道上的值。
再通过激活（Excitation）操作抓取各通道间非线性关系，其数学表达式如下：
Figure SMS_13
；
其中，
Figure SMS_14
表示学习到的激励向量，其维度与输入特征图的通道数相同，/>
Figure SMS_15
表示Sigmoid激活函数，/>
Figure SMS_16
表示ReLU激活函数，/>
Figure SMS_17
表示输入特征图，/>
Figure SMS_18
、/>
Figure SMS_19
分别是两个全连接层的权重矩阵。
输出权重即为每个特征通道的重要程度，并将各权重逐通道加权到先前的特征上，在通道维度上完成对原始特征的重标定，该过程数学表达式如下：
Figure SMS_20
，
其中
Figure SMS_21
为输入特征图中的通道，/>
Figure SMS_22
为特征图/>
Figure SMS_23
和标量/>
Figure SMS_24
之间的通道乘法，/>
Figure SMS_25
为该通道上的所有像素值，/>
Figure SMS_26
为该通道的缩放因子。
步骤a2，通过ResNet-GRU混合模型对预处理后的惯性传感器数据进行可用度评估，ResNet-GRU混合模型将残差网络ResNet与深度网络GRU相结合，ResNet的使用有效地避免了深层网络引起的梯度消失现象，GRU网络的使用则可以充分挖掘惯性传感器数据的时空结构信息，实现混合模型深度与梯度的兼顾。
在运动分类信息的基础上，基于不同运动状态分别评估惯性传感器信息的精度和稳定性，通过ResNet 捕捉惯性传感器数据中的局部相关特征，学习并提取输入数据中隐含的运动特征信息，GRU神经网络通过接收ResNet网络的特征片段，进一步挖掘惯性数据的时序特征，并将模型提取到的特征全部输入到全连接层中，完成惯性传感器在不同运动状态下数据精度及稳定性的评估。
ResNet网络核心为跨层连接，网络输出的一般表达式如下：
Figure SMS_27
，
其中
Figure SMS_28
为输入，/>
Figure SMS_29
为残差映射函数，/>
Figure SMS_30
为输入到输出的残差映射；当输入与输入到输出的残差映射间通道维度相同时，在同一通道的同一位置将数值直接相加，当维度不同时，通过线性映射完成匹配。
本发明采用的残差网络为ResNet50，由一个卷积层、十六个三层结构结构块及一个全连接层组成。相较浅层网络，ResNet50结构块采用瓶颈结构，有效减少了参数量并简化了计算。
混合模型中GRU网络的核心模块为更新门和重置门，更新门决定上一时刻的状态变量被带入当前状态的程度，重置门控制上一时刻的信息被写入当前候选集的量，有效增强了模型的梯度与时序特征。其前向传播表达式如下：
Figure SMS_31
，
其中，
Figure SMS_34
为输入向量，/>
Figure SMS_36
为上一时刻记忆状态变量，/>
Figure SMS_39
为当前时刻记忆状态变量，/>
Figure SMS_33
为重置门状态，/>
Figure SMS_35
为更新门状态，/>
Figure SMS_38
为当前候选集状态，/>
Figure SMS_40
为当前时刻输出向量，/>
Figure SMS_32
分别表示重置门、更新门、候选集、输出向量的权重参数，sigmoid函数/>
Figure SMS_37
为重置门与更新门的激活函数，tanh函数为记忆门的激活函数。
在惯性传感器运动分类的基础上，基于不同运动状态分别利用ResNet-GRU混合模型评估惯性传感器数据可用度。通过基于不同运动状态分别评估惯性传感器数据可用度的方式，有效减小了模型拟合难度提高了ResNet-GRU混合模型的评估精度。
第二部分，基于深度学习的激光点云可用度评估。
对激光雷达采集到的原始数据进行滤波、降噪和标准化等预处理，减少数据的噪声和干扰，提高数据的可用度。
采用PointNet++模型对预处理后的激光点云数据进行处理，通过多分辨率特征学习方法捕获点云中的不同尺度的特征，并通过可变形卷积模块对点云进行局部区域建模，优化局部特征提取效果，最后由特征池化方法对全局特征进行聚合，完成对整个点云的分类分割，根据分类分割结果及全局特征分布情况完成对激光点云的可用度评估。
相较于PointNet，PointNet++通过层次聚合方法，提高模型的分类分割性能，方便模型处理更复杂的点云数据。同时因其操作全部基于点集执行，可以处理任意数量的点，不需要进行网格化或体素化。
Set Abstraction层通过对整个点云进行局部采样并划出一个范围，将范围中的点作为局部特征，用PointNet进行特征提取，通过多次操作减少点的数量并提高每个点所包含的局部特征信息。最后对点云提取一个全局特征，通过这个全局特征逐步上采样，完成对激光点云的分类分割。
其中，逆距离权重法表达式如下：
Figure SMS_41
,
其中，
Figure SMS_42
为点/>
Figure SMS_45
的特征向量，/>
Figure SMS_48
为点云中的点数，/>
Figure SMS_44
为第/>
Figure SMS_46
个点的特征向量，/>
Figure SMS_49
为点/>
Figure SMS_51
与第/>
Figure SMS_43
个点之间的权重，/>
Figure SMS_47
为点/>
Figure SMS_50
与第/>
Figure SMS_52
个点之间的距离。
第三部分，基于深度学习的退化环境激光惯性里程计定位优化。
基于上述深度学习方法评估惯性传感器、激光点云可用度，通过深度学习及非线性最小二乘优化方法修正激光惯性里程计定位信息，参考图2所示，包括：
步骤c1，激光特征残差函数构建
通过激光点云曲率计算结果提取激光点云中的特征点，根据曲率大小对特征点进行筛选，与预设曲率阈值相比较，其中曲率大的为角特征点，曲率小的为面特征点；其数学表达式如下：
Figure SMS_53
，
其中，
Figure SMS_54
为以点/>
Figure SMS_55
为中心构成的点云集，/>
Figure SMS_56
和/>
Figure SMS_57
分别是/>
Figure SMS_58
中的点；
将角特征点在不同线束的点云中选取最近一点构成线特征，将面特征点从相同线束和不同线束的点云中各选取最近的一点构成面特征。
通过计算当前帧点云中的角特征点到上一帧点云线特征直线的距离
Figure SMS_59
构成线约束，其数学表达式如下：
Figure SMS_60
，
通过计算当前帧点云中的面特征点到上一帧点云的面特征平面的距离
Figure SMS_61
构成面约束，其数学表达式如下：
Figure SMS_62
，
其中，
Figure SMS_63
表示当前帧上的点/>
Figure SMS_64
在上一帧点云坐标系下的位置，/>
Figure SMS_65
分别表示上一帧点云中的各点的位置。
步骤c2，惯性传感器预积分残差函数构建
对当前帧与上一帧间惯性传感器的状态进行积分，获取世界坐标系下的当前帧姿态、速度和位置；状态转移数学表达式如下：
Figure SMS_66
，
其中，
Figure SMS_68
为k时刻IMU在世界坐标系下的位置，/>
Figure SMS_72
为k+1时刻IMU在世界坐标系下的位置，/>
Figure SMS_75
为k时刻IMU在世界坐标系下的速度，/>
Figure SMS_69
为k+1时刻IIMU在世界坐标系下的速度，/>
Figure SMS_70
为前一帧到当前帧间时间间隔，/>
Figure SMS_73
为t时刻IMU的姿态，/>
Figure SMS_76
为k+1时刻IMU的姿态，/>
Figure SMS_67
为t时刻IMU在IMU坐标系下的加速度，/>
Figure SMS_71
为t时刻IMU在IMU坐标系下的角速度，/>
Figure SMS_74
为重力加速度在世界坐标系下的表示。
通过
Figure SMS_77
，将状态转移公式转化为预积分模型公式，其数学表达式如下：
Figure SMS_78
，
其中
Figure SMS_79
为k-1时刻IMU的姿态，/>
Figure SMS_80
为k-1时刻到t时刻之间IMU的姿态变化，/>
Figure SMS_81
为四元数的乘法运算。
Figure SMS_82
分别表示前一帧到当前帧的位置、速度和姿态预积分量，其数学表达式如下：
Figure SMS_83
，
其中
Figure SMS_84
为系统加速度，/>
Figure SMS_85
为上一个时刻的时间，/>
Figure SMS_86
为当前时刻的时间，/>
Figure SMS_87
为下一个时刻的时间。
对两帧之间状态进行约束，惯性传感器预积分残差数学表达式如下：
Figure SMS_88
，
其中，
Figure SMS_89
分别表示位置、姿态、速度、加速度偏置和角速度偏置的残差，/>
Figure SMS_90
为从世界坐标系到IMU坐标系的旋转四元数，/>
Figure SMS_91
、/>
Figure SMS_92
分别代表当前时刻和上一个时刻的加速度偏差，/>
Figure SMS_93
、/>
Figure SMS_94
分别代表当前时刻和上一个时刻的角速度偏差。
步骤c3，系统误差函数构建
基于上述方法获取到的惯性传感器和激光可用度信息，通过MLP模型生成并调整系统整体误差函数各残差函数权重
Figure SMS_95
。
将激光线特征残差函数
Figure SMS_96
、激光面特征残差函数/>
Figure SMS_97
、惯性传感器预积分残差函数/>
Figure SMS_98
分别加入由上述方法获取到的对应权重，构建系统整体误差函数，其数学表达式如下：
Figure SMS_99
。
通过加入由上述方法获取到的各残差函数对应权重，调整在不同环境下各残差函数对系统整体误差函数的影响，提高激光惯性里程计在复杂环境下定位的鲁棒性。
通过非线性最小二乘优化方法获取系统整体误差函数最小时 X 的取值，最终得到系统整体最优位姿估计，完成激光惯性里程计优化。
同时将优化后的激光惯性里程计定位信息用于点云地图构建，减小点云运动畸变并提高点云地图构建精度，实现对特征稀疏场景下的短时间精确定位建图。
综上所述，本发明提供了一种基于深度学习的激光惯性里程计优化方法，基于激光惯导系统中原有的传感器，通过深度学习方法评估惯性传感器、激光点云可用度，通过深度学习及非线性最小二乘优化方法优化激光惯性里程计定位信息，提高复杂环境下激光惯导系统鲁棒性，具有环境适应能力强、硬件成本低等优点。
本发明实施例还提出一种电子系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序。需要说明的是，上述系统中的各个模块对应本发明实施例所提供的方法的具体步骤，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。
用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
上述仅为本发明的优选实施方法，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (10)

1.一种基于深度学习的激光惯性里程计优化方法，其特征在于，包括：
S1、对惯性传感器数据进行运动分类，并基于运动分类结果完成惯性传感器可用度评估；
S2、基于深度学习对激光点云进行分类分割与可用度评估，具体是：
采用PointNet++模型对预处理后的激光点云数据进行处理，通过多分辨率特征学习方法捕获点云数据中的不同尺度的特征，并通过可变形卷积模块对点云数据进行局部区域建模；然后由特征池化方法对全局特征进行聚合，对整个点云进行分类分割，根据分类分割结果及全局特征分布情况完成对激光点云的可用度评估；
S3、基于惯性传感器、激光点云可用度信息，通过MLP模型生成并调整系统整体误差函数中各残差函数权重，获取系统整体位姿误差函数最小时的取值，最终得到系统整体最优位姿估计，完成激光惯性里程计优化。
2.根据权利要求1所述的一种基于深度学习的激光惯性里程计优化方法，其特征在于，步骤S1是通过SENet+模型对预处理后的惯性传感器数据进行运动分类，在特征提取的过程中，通过增强特征映射通道间的交互信息，由注意力机制模块放大其中相对突出的活动数据，滤除背景信息中不相关的干扰噪声，实现对惯性传感器信息样本的运动分类。
3.根据权利要求2所述的一种基于深度学习的激光惯性里程计优化方法，其特征在于，采用SENet+模型进行运动分类的具体过程如下：
首先，通过压缩操作，采用全局平均池化方法将一个通道上的所有空间特征编码获取其全局描述特征，其数学表达式如下：
Figure QLYQS_1
，
其中
Figure QLYQS_2
为通道平均值，/>
Figure QLYQS_3
为计算平均值函数，/>
Figure QLYQS_4
和/>
Figure QLYQS_5
分别为图像的高度和宽度，
Figure QLYQS_6
为图像中第/>
Figure QLYQS_7
行第/>
Figure QLYQS_8
列像素在通道上的值；
然后，通过激活操作抓取各通道间非线性关系，其数学表达式如下：
Figure QLYQS_9
，
其中，
Figure QLYQS_10
表示学习到的激励向量，其维度与输入特征图的通道数相同，/>
Figure QLYQS_11
表示Sigmoid激活函数，/>
Figure QLYQS_12
表示ReLU激活函数，/>
Figure QLYQS_13
表示输入特征图，/>
Figure QLYQS_14
、/>
Figure QLYQS_15
分别是两个全连接层的权重矩阵；
输出权重即为每个特征通道的重要程度，并将各权重逐通道加权到先前的特征上，在通道维度上完成对原始特征的重标定，该过程数学表达式如下：
Figure QLYQS_16
，
其中
Figure QLYQS_17
为输入特征图中的通道，/>
Figure QLYQS_18
为特征图/>
Figure QLYQS_19
和标量/>
Figure QLYQS_20
之间的通道乘法，/>
Figure QLYQS_21
为该通道上的所有像素值，/>
Figure QLYQS_22
为该通道的缩放因子。
4. 根据权利要求2所述的一种基于深度学习的激光惯性里程计优化方法，其特征在于，步骤S1是通过ResNet-GRU混合模型对预处理后的惯性传感器数据进行可用度评估，具体为：在运动分类信息的基础上，基于不同运动状态分别评估惯性传感器信息的精度和稳定性，通过ResNet 网络捕捉惯性传感器数据中的局部相关特征，学习并提取输入数据中隐含的运动特征信息，同时GRU神经网络通过接收ResNet网络的特征片段，进一步挖掘惯性数据的时序特征，并将模型提取到的特征全部输入到全连接层中，完成惯性传感器在不同运动状态下数据精度及稳定性的评估。
5.根据权利要求4所述的一种基于深度学习的激光惯性里程计优化方法，其特征在于，ResNet网络核心为跨层连接，网络输出的表达式如下：
Figure QLYQS_23
，
其中，
Figure QLYQS_24
为输入，/>
Figure QLYQS_25
为残差映射函数，/>
Figure QLYQS_26
为输入到输出的残差映射；当输入与输入到输出的残差映射间通道维度相同时，在同一通道的同一位置将数值直接相加，当维度不同时，通过线性映射完成匹配。
6.根据权利要求5所述的一种基于深度学习的激光惯性里程计优化方法，其特征在于，ResNet网络为ResNet50，由一个卷积层、十六个三层结构结构块及一个全连接层组成；
GRU神经网络的核心模块为更新门和重置门，更新门决定上一时刻的状态变量被带入当前状态的程度，重置门控制上一时刻的信息被写入当前候选集的量，其前向传播表达式如下：
Figure QLYQS_27
，
其中，
Figure QLYQS_28
为输入向量，/>
Figure QLYQS_33
为上一时刻记忆状态变量，/>
Figure QLYQS_35
为当前时刻记忆状态变量，/>
Figure QLYQS_29
为重置门状态，/>
Figure QLYQS_31
为更新门状态，/>
Figure QLYQS_34
为当前候选集状态，/>
Figure QLYQS_36
为当前时刻输出向量，/>
Figure QLYQS_30
分别表示重置门、更新门、候选集、输出向量的权重参数，sigmoid函数/>
Figure QLYQS_32
为重置门与更新门的激活函数，tanh函数为记忆门的激活函数。
7.根据权利要求3所述的一种基于深度学习的激光惯性里程计优化方法，其特征在于，步骤S2中，所述采用PointNet++模型对预处理后的激光点云数据进行处理，通过多分辨率特征学习方法捕获点云数据中的不同尺度的特征，具体是：采用Set Abstraction层通过对整个点云进行局部采样并划出一个范围，将范围中的点作为局部特征，用PointNet进行特征提取，通过多次操作减少点的数量并提高每个点所包含的局部特征信息；所述由特征池化方法对全局特征进行聚合，对整个点云进行分类分割，具体是：通过逆距离权重法对点云进行分割，将点云提取一个全局特征并通过这个全局特征逐步上采样，完成对激光点云的分类分割；
其中，逆距离权重法表达式如下：
Figure QLYQS_37
，
其中，
Figure QLYQS_38
为点/>
Figure QLYQS_41
的特征向量，/>
Figure QLYQS_44
为点云中的点数，/>
Figure QLYQS_39
为第/>
Figure QLYQS_43
个点的特征向量，
Figure QLYQS_46
为点/>
Figure QLYQS_48
与第/>
Figure QLYQS_40
个点之间的权重，/>
Figure QLYQS_42
为点/>
Figure QLYQS_45
与第/>
Figure QLYQS_47
个点之间的距离。
8.根据权利要求1所述的一种基于深度学习的激光惯性里程计优化方法，其特征在于，步骤S3包括如下步骤：
S301、基于惯性传感器、激光点云可用度信息，通过MLP模型生成系统整体位姿误差函数中各残差函数权重
Figure QLYQS_49
、/>
Figure QLYQS_50
、/>
Figure QLYQS_51
；
S302、将激光线特征残差函数
Figure QLYQS_52
、激光面特征残差函数/>
Figure QLYQS_53
、惯性传感器预积分残差函数/>
Figure QLYQS_54
分别加入由S301获取到的各残差函数对应权重，构建系统整体位姿误差函数，其数学表达式如下：
Figure QLYQS_55
，
S303、MLP模型基于惯性传感器、激光点云可用度评估信息，自主调整在不同环境下各残差函数对系统整体位姿误差函数的影响；
S304、通过非线性最小二乘优化方法获取系统整体位姿误差函数最小时 X 的取值，最终得到系统整体最优位姿估计，完成激光惯性里程计优化；
S305、将优化后的激光惯性里程计定位信息用于点云地图构建。
9.根据权利要求8所述的一种基于深度学习的激光惯性里程计优化方法，其特征在于，步骤S302中，激光线特征残差函数、激光面特征残差函数、惯性传感器预积分残差函数具体构建方法如下：
（1）激光特征残差函数构建：
通过激光点云曲率计算结果提取激光点云中的特征点，根据曲率大小对特征点进行筛选，与预设曲率阈值相比较，其中曲率大的为角特征点，曲率小的为面特征点；其数学表达式如下：
Figure QLYQS_56
，
其中，
Figure QLYQS_57
为以点/>
Figure QLYQS_58
为中心构成的点云集，/>
Figure QLYQS_59
和/>
Figure QLYQS_60
分别是/>
Figure QLYQS_61
中的点；
将角特征点在不同线束的点云中选取最近一点构成线特征，将面特征点从相同线束和不同线束的点云中各选取最近的一点构成面特征；
通过计算当前帧点云中的角特征点到上一帧点云线特征直线的距离
Figure QLYQS_62
构成线约束，其数学表达式如下：
Figure QLYQS_63
，
通过计算当前帧点云中的面特征点到上一帧点云的面特征平面的距离
Figure QLYQS_64
构成面约束，其数学表达式如下：
Figure QLYQS_65
，
其中，
Figure QLYQS_66
表示当前帧上的点/>
Figure QLYQS_67
在上一帧点云坐标系下的位置，/>
Figure QLYQS_68
分别表示上一帧点云中的各点的位置；
（2）惯性传感器预积分残差函数构建：
对当前帧与上一帧间惯性传感器的状态进行积分，获取世界坐标系下的当前帧姿态、速度和位置；状态转移数学表达式如下：
Figure QLYQS_69
，
其中，
Figure QLYQS_70
为k时刻IMU在世界坐标系下的位置，/>
Figure QLYQS_73
为k+1时刻IMU在世界坐标系下的位置，/>
Figure QLYQS_76
为k时刻IMU在世界坐标系下的速度，/>
Figure QLYQS_72
为k+1时刻IIMU在世界坐标系下的速度，/>
Figure QLYQS_74
为前一帧到当前帧间时间间隔，/>
Figure QLYQS_77
为t时刻IMU的姿态，/>
Figure QLYQS_79
为k+1时刻IMU的姿态，/>
Figure QLYQS_71
为t时刻IMU在IMU坐标系下的加速度，/>
Figure QLYQS_75
为t时刻IMU在IMU坐标系下的角速度，/>
Figure QLYQS_78
为重力加速度在世界坐标系下的表示；
通过
Figure QLYQS_80
，将状态转移公式转化为预积分模型公式，其数学表达式如下：
Figure QLYQS_81
，
其中
Figure QLYQS_82
为k-1时刻IMU的姿态，/>
Figure QLYQS_83
为k-1时刻到t时刻之间IMU的姿态变化，/>
Figure QLYQS_84
为四元数的乘法运算；
Figure QLYQS_85
分别表示前一帧到当前帧的位置、速度和姿态预积分量，其数学表达式如下：
Figure QLYQS_86
，
其中
Figure QLYQS_87
为系统加速度，/>
Figure QLYQS_88
为上一个时刻的时间，/>
Figure QLYQS_89
为当前时刻的时间，/>
Figure QLYQS_90
为下一个时刻的时间；
对两帧之间状态进行约束，惯性传感器预积分残差数学表达式如下：
Figure QLYQS_91
，
其中，
Figure QLYQS_92
分别表示位置、姿态、速度、加速度偏置和角速度偏置的残差，/>
Figure QLYQS_93
为从世界坐标系到IMU坐标系的旋转四元数，/>
Figure QLYQS_94
、/>
Figure QLYQS_95
分别代表当前时刻和上一个时刻的加速度偏差，/>
Figure QLYQS_96
、/>
Figure QLYQS_97
分别代表当前时刻和上一个时刻的角速度偏差。
10.一种电子系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述优化方法的步骤。
CN202310603851.4A 2023-05-26 2023-05-26 一种基于深度学习的激光惯性里程计优化方法、系统 Active CN116295507B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310603851.4A CN116295507B (zh) 2023-05-26 2023-05-26 一种基于深度学习的激光惯性里程计优化方法、系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310603851.4A CN116295507B (zh) 2023-05-26 2023-05-26 一种基于深度学习的激光惯性里程计优化方法、系统

Publications (2)

Publication Number Publication Date
CN116295507A true CN116295507A (zh) 2023-06-23
CN116295507B CN116295507B (zh) 2023-08-15

Family

ID=86787337

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310603851.4A Active CN116295507B (zh) 2023-05-26 2023-05-26 一种基于深度学习的激光惯性里程计优化方法、系统

Country Status (1)

Country Link
CN (1) CN116295507B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108375370A (zh) * 2018-07-02 2018-08-07 江苏中科院智能科学技术应用研究院 一种面向智能巡防无人机的复合导航系统
CN111595333A (zh) * 2020-04-26 2020-08-28 武汉理工大学 视觉惯性激光数据融合的模块化无人车定位方法及系统
CN113066105A (zh) * 2021-04-02 2021-07-02 北京理工大学 激光雷达和惯性测量单元融合的定位与建图方法及系统
CN113345008A (zh) * 2021-05-31 2021-09-03 湖南大学 一种考虑轮式机器人位姿估计的激光雷达动态障碍物检测方法
CN113671994A (zh) * 2021-09-01 2021-11-19 重庆大学 基于强化学习的多无人机与多无人船巡检控制系统
CN113781582A (zh) * 2021-09-18 2021-12-10 四川大学 基于激光雷达和惯导联合标定的同步定位与地图创建方法
CN115046545A (zh) * 2022-03-29 2022-09-13 哈尔滨工程大学 一种深度网络与滤波结合的定位方法
CN115326074A (zh) * 2022-08-17 2022-11-11 中国矿业大学(北京) 一种地上地下统一导航方法及装置
WO2023000294A1 (zh) * 2021-07-23 2023-01-26 深圳市大疆创新科技有限公司 位姿估计方法、激光雷达-惯性里程计、可移动平台及存储介质
US20230161352A1 (en) * 2022-03-23 2023-05-25 Anhui University Dynamic obstacle avoidance method based on real-time local grid map construction

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108375370A (zh) * 2018-07-02 2018-08-07 江苏中科院智能科学技术应用研究院 一种面向智能巡防无人机的复合导航系统
CN111595333A (zh) * 2020-04-26 2020-08-28 武汉理工大学 视觉惯性激光数据融合的模块化无人车定位方法及系统
CN113066105A (zh) * 2021-04-02 2021-07-02 北京理工大学 激光雷达和惯性测量单元融合的定位与建图方法及系统
CN113345008A (zh) * 2021-05-31 2021-09-03 湖南大学 一种考虑轮式机器人位姿估计的激光雷达动态障碍物检测方法
WO2023000294A1 (zh) * 2021-07-23 2023-01-26 深圳市大疆创新科技有限公司 位姿估计方法、激光雷达-惯性里程计、可移动平台及存储介质
CN113671994A (zh) * 2021-09-01 2021-11-19 重庆大学 基于强化学习的多无人机与多无人船巡检控制系统
CN113781582A (zh) * 2021-09-18 2021-12-10 四川大学 基于激光雷达和惯导联合标定的同步定位与地图创建方法
US20230161352A1 (en) * 2022-03-23 2023-05-25 Anhui University Dynamic obstacle avoidance method based on real-time local grid map construction
CN115046545A (zh) * 2022-03-29 2022-09-13 哈尔滨工程大学 一种深度网络与滤波结合的定位方法
CN115326074A (zh) * 2022-08-17 2022-11-11 中国矿业大学(北京) 一种地上地下统一导航方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
吕润等: "旋转捷联惯导系统辅助的多线激光雷达", 计算机科学 *
张艳国;李擎;: "基于惯性测量单元的激光雷达点云融合方法", 系统仿真学报, no. 11 *
王金科: "多源融合SLAM的现状与挑战", 中国图象图形学报 *

Also Published As

Publication number Publication date
CN116295507B (zh) 2023-08-15

Similar Documents

Publication Publication Date Title
CN110363058B (zh) 使用单触发卷积神经网络的用于避障的三维对象定位
KR102596388B1 (ko) 이동체의 이동 속성 획득 방법 및 이를 수행하는 장치
JP7086111B2 (ja) 自動運転車のｌｉｄａｒ測位に用いられるディープラーニングに基づく特徴抽出方法
Alkendi et al. State of the art in vision-based localization techniques for autonomous navigation systems
Scherer et al. River mapping from a flying robot: state estimation, river detection, and obstacle mapping
US11244500B2 (en) Map feature extraction using overhead view images
US20150363940A1 (en) Robust Anytime Tracking Combining 3D Shape, Color, and Motion with Annealed Dynamic Histograms
JP2021515724A (ja) 自動運転車において３ｄｃｎｎネットワークを用いてソリューション推断を行うｌｉｄａｒ測位
US11288522B2 (en) Generating training data from overhead view images
US11074438B2 (en) Disentangling human dynamics for pedestrian locomotion forecasting with noisy supervision
US20210199446A1 (en) Overhead view image generation
CN111079619A (zh) 用于检测图像中的目标对象的方法和装置
CN114365201A (zh) 结构注释
JP7138361B2 (ja) ３次元仮想空間モデルを利用したユーザポーズ推定方法および装置
CN113781519A (zh) 目标跟踪方法和目标跟踪装置
Son et al. Synthetic deep neural network design for lidar-inertial odometry based on CNN and LSTM
Wang et al. 3D-LIDAR based branch estimation and intersection location for autonomous vehicles
Liu A lidar-inertial-visual slam system with loop detection
US11727601B2 (en) Overhead view image generation
CN111739066B (zh) 一种基于高斯过程的视觉定位方法、系统及存储介质
CN117452969A (zh) 基于多模态数据处理的无人机导航方法
Liu et al. Semi-dense visual-inertial odometry and mapping for computationally constrained platforms
CN116295507B (zh) 一种基于深度学习的激光惯性里程计优化方法、系统
CN115565072A (zh) 一种道路垃圾识别和定位方法、装置、电子设备及介质
Cai et al. A comprehensive overview of core modules in visual SLAM framework

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant