CN112747752B - 基于激光里程计的车辆定位方法、装置、设备和存储介质 - Google Patents

基于激光里程计的车辆定位方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN112747752B
CN112747752B CN202011519123.8A CN202011519123A CN112747752B CN 112747752 B CN112747752 B CN 112747752B CN 202011519123 A CN202011519123 A CN 202011519123A CN 112747752 B CN112747752 B CN 112747752B
Authority
CN
China
Prior art keywords
data
environment sensing
dimensional
transformation
sensing data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011519123.8A
Other languages
English (en)
Other versions
CN112747752A (zh
Inventor
张怡欢
王亮
曾勇
戴一凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Suzhou Automotive Research Institute of Tsinghua University
Original Assignee
Tsinghua University
Suzhou Automotive Research Institute of Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University, Suzhou Automotive Research Institute of Tsinghua University filed Critical Tsinghua University
Priority to CN202011519123.8A priority Critical patent/CN112747752B/zh
Publication of CN112747752A publication Critical patent/CN112747752A/zh
Application granted granted Critical
Publication of CN112747752B publication Critical patent/CN112747752B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C22/00—Measuring distance traversed on the ground by vehicles, persons, animals or other moving solid bodies, e.g. using odometers, using pedometers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

本申请实施例提供一种基于激光里程计的车辆定位方法、装置、设备和存储介质，通过获取激光雷达连续采集的多帧环境传感数据，环境传感数据包括三维点云数据和反射强度数据，对相邻两帧环境传感数据进行坐标变换和投影变换，得到包含相邻两帧环境传感数据的数据信息的高维数据，根据高维数据，通过深度神经网络模型确定相邻两帧环境传感数据之间的位姿转换关系，得到车辆的位姿数据，在不需要依赖人工设定的环境特征的情况下，实现了车辆定位，并提高了车辆定位的鲁棒性和准确性。

Description

基于激光里程计的车辆定位方法、装置、设备和存储介质
技术领域
本申请实施例涉及自动驾驶技术领域，尤其涉及一种基于激光里程计的车辆定位方法、装置、设备和存储介质。
背景技术
智能网联车辆是一种具备环境感知、行为决策、自动控制等自主行驶能力的车辆，又称为无人驾驶车辆或轮式机器人。智能网联车辆能够将机动车驾驶人从枯燥繁琐的驾驶操作中解放出来，依靠人工智能、机器视觉等技术，避免甚至杜绝了因驾驶员个人因素导致的交通问题。智能网联车辆所涉及的领域包括：传感器技术、信号处理、模式识别、人工智能、计算机技术、自动控制等众多学科，是当今各种前沿热门技术的综合实验载体。它既包括科学理论方法的研究，也包括关键技术的突破，还涉及到大量工程实践问题的解决。因此，智能网联车辆中的自动驾驶技术具有重要的科研价值和广阔的应用前景。
激光里程计作为智能网联车辆定位系统中的关键技术，能够为智能网联车辆提供准确的车辆位姿信息(包括车辆位置及姿态信息)，是车辆完成自动驾驶行为决策和路径规划的重要基础。激光里程计对智能网联车辆的重要作用已经取得了广泛的共识，无论在科研机构还是工业界，大量智能网联车辆已经配备激光雷达传感器并使用了激光里程计技术作为车辆定位的核心。
目前，通过激光里程计进行车辆定位主要包括特征提取、数据关联和状态估计等几个步骤。然而，现有技术中的激光里程计主要依赖于人工设定的环境特征，如标志性物体，进行特征提取，无法保证特征提取的精度和鲁棒性，进而影响确定的车辆位姿信息的准确性。
发明内容
本申请实施例提供一种基于激光里程计的车辆定位方法、装置、设备和存储介质，以解决现有技术中存在的精度和鲁棒性不高的问题。
第一方面，本申请实施例提供一种基于激光里程计的车辆定位方法，包括：
获取激光雷达连续采集的多帧环境传感数据，所述环境传感数据包括三维点云数据和反射强度数据；
对相邻两帧环境传感数据进行坐标变换和投影变换，得到包含所述相邻两帧环境传感数据的数据信息的高维数据；
根据所述高维数据，通过深度神经网络模型确定所述相邻两帧环境传感数据之间的位姿转换关系，得到所述车辆的位姿数据。
可选地，所述深度神经网络模型包括残差卷积神经网络和全连接神经网络；所述根据所述高维数据，通过深度神经网络模型确定所述相邻两帧环境传感数据之间的位姿转换关系，得到所述车辆的位姿数据，包括：
通过所述残差卷积神经网络对所述高维数据进行下采样，得到高维特征数据；
根据所述高维特征数据，通过全连接神经网络计算所述相邻两帧环境传感数据之间的位姿转换关系，得到所述车辆的位姿数据。
可选地，所述对相邻两帧环境传感数据进行坐标变换和投影变换，得到包含所述相邻两帧环境传感数据的数据信息的高维数据，包括：
根据激光雷达坐标系到车辆坐标系的变换关系，对所述相邻两帧环境传感数据进行坐标变换，得到车辆坐标系下所述相邻两帧环境传感数据的变换结果数据；
采用球形投影法，将所述变换结果数据投影到预设的多通道二维平面上，得到所述相邻两帧环境传感数据的多通道投影结果数据；
对所述相邻两帧环境传感数据的多通道投影结果数据进行维度扩展，得到包含所述相邻两帧环境传感数据的多通道投影结果数据的高维数据。
可选地，所述根据激光雷达坐标系到车辆坐标系的变换关系，对所述相邻两帧环境传感数据的进行坐标变换，得到车辆坐标系下所述相邻两帧环境传感数据的变换结果数据，包括：
所述根据激光雷达坐标系到车辆坐标系的变换关系，对所述相邻两帧环境传感数据的三维点云数据进行坐标变换，得到所述相邻两帧环境传感数据的三维点云数据的坐标变换数据；
确定所述相邻两帧环境传感数据的坐标变换数据到坐标原点的距离数据；
根据同一帧环境传感数据对应的反射强度数据、距离数据和坐标变换数据，生成所述相邻两帧环境传感数据的变换结果数据。
可选地，所述多通道二维平面包括第一坐标数据通道、第二坐标数据通道、第三坐标数据通道、距离数据通道和反射强度数据通道，其中，所述第一坐标数据、所述第二坐标数据和所述第三坐标数据为所述坐标变换数据中的坐标数据。
可选地，所述采用球形投影法，将所述变换结果数据投影到预设的多通道二维平面上，得到所述相邻两帧环境传感数据的多通道投影结果数据，包括：
采用如下公式，将所述变换结果数据投影到预设的多通道二维平面上，得到所述相邻两帧环境传感数据的多通道投影结果数据：
v＝[1-(arcsin(zv/d)+fup)/f]Nh
其中，xv、yv、zv表示三维点云数据的坐标变换数据，d表示坐标变换数据到坐标原点的距离数据，f表示激光雷达的垂直视角，fup表示表示激光雷达的最大向上视角，Nw表示多通道二维平面的宽度，Nh表示多通道二维平面的长度。
可选地，所述根据所述高维数据，通过深度神经网络模型确定所述相邻两帧环境传感数据之间的位姿转换关系，得到所述车辆的位姿数据之前，所述方法还包括：
获取模型训练数据，所述模型训练数据包括环境传感数据和车辆位置数据；
采用所述模型训练数据，对所述深度神经网络模型的待训练参数进行训练，得到所述深度神经网络模型的模型参数。
第二方面，本申请实施例提供一种基于激光里程计的车辆定位装置，包括：
获取模块，用于获取激光雷达连续采集的多帧环境传感数据，所述环境传感数据包括三维点云数据和反射强度数据；
处理模块，用于对相邻两帧环境传感数据进行坐标变换和投影变换，得到包含所述相邻两帧环境传感数据的数据信息的高维数据；根据所述高维数据，通过深度神经网络模型确定所述相邻两帧环境传感数据之间的位姿转换关系，得到所述车辆的位姿数据。
第三方面，本申请实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一方面所述的基于激光里程计的车辆定位方法。
第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的基于激光里程计的车辆定位方法。
本申请实施例提供的基于激光里程计的车辆定位方法、装置、设备和存储介质，通过获取激光雷达连续采集的多帧环境传感数据，环境传感数据包括三维点云数据和反射强度数据，对相邻两帧环境传感数据进行坐标变换和投影变换，得到包含相邻两帧环境传感数据的数据信息的高维数据，根据高维数据，通过深度神经网络模型确定相邻两帧环境传感数据之间的位姿转换关系，得到车辆的位姿数据，在不需要依赖人工设定的环境特征的情况下，实现了车辆定位，并提高了车辆定位的鲁棒性和准确性。
附图说明
图1为本申请实施例的应用场景示意图；
图2为本申请实施例一提供的基于激光里程计的车辆定位方法的流程示意图；
图3为本申请实施例一提供的相邻两帧环境传感数据的预处理过程示意图；
图4为本申请实施例一提供的深度神经网络模型的结构示意图；
图5为本申请实施例二提供的深度神经网络模型的训练方法的流程示意图；
图6为本申请实施例三提供的基于激光里程计的车辆定位装置的结构示意图；
图7为本申请实施例四提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。
本申请技术方案的主要思路：基于现有技术中存在的技术问题，本申请实施例提供一种基于激光里程计的车辆定位技术方案，事先基于深度神经网络构建适用于激光里程计的深度神经网络模型，本申请技术方案，激光里程计进行车辆定位主要包括：传感器数据获取、数据预处理和利用深度神经网络模型进行运动估计三个方面，该模型包括残差卷积神经网络和全连接神经网络，由深度神经网络模型通过内部运算，实现特征提取和数据关联、分类等，一方面，不需要依赖人工设定的环境特征，可以适应各种环境，提高了环境鲁棒性和车辆定位精定，另一方面，该模型可以同时处理两帧点云数据，提高计算效率。
示例性地，图1为本申请实施例的应用场景示意图，如图1所示，激光雷达设置在智能网联车辆的外部，用于采集周围的环境数据，图1中仅示出了一个激光雷达，可以理解的是，实际应用中激光雷达也可以设置多个。智能网联车辆中安装有电子设备，该电子设备可以执行以下各实施例中的基于激光里程计的车辆定位方法。
需要说明的是，本实施例提供的激光里程计除可用于智能网联车辆中进行车辆定位外，还可以用于其他移动机器人，如扫地机器人、工业机器人、搬运机器人、无人机、送餐机器人等的定位系统中。下面将以智能网联车辆为例，对本申请的技术方案进行详细描述。
实施例一
示例性地，图2为本申请实施例一提供的基于激光里程计的车辆定位方法的流程示意图，本实施例的方法可以由本申请实施例所提供的基于激光里程计的车辆定位装置执行，该装置可以由软件和/或硬件的方式来实现，并可集成于电子设备中。如图2所示，本实施例的基于激光里程计的车辆定位方法包括：
S101、获取激光雷达连续采集的多帧环境传感数据。
本步骤中，如图1所示，获取车载激光雷达连续采集的车辆周围环境的至少两帧环境传感数据，其中，环境传感数据包括三维点云数据和反射强度数据。
需要说明的是，本实施例中，每一帧环境传感数据中都包括无数个激光点的三维坐标数据和对应的反射强度数据，相应地，本步骤中，得到的每一帧环境传感数据即为无数个激光点的三维坐标和反射强度数据构成的数据集合。
可以理解的是，本步骤中，获取的多帧环境传感数据来源于同一个激光雷达，当有多个车载激光雷达有多个时，可以针对每个激光雷达分别采用本实施例的技术方案，分别对位姿数据进行计算，再根据这些计算结果进行综合分析和决策，提高对车辆定位的准确性。
S102、对相邻两帧环境传感数据进行坐标变换和投影变换，得到包含相邻两帧环境传感数据的数据信息的高维数据。
本步骤中，在S101之后，为适应深度神经网络模型的数据处理要求，以相邻两帧环境传感数据为最小处理单元，对相邻两帧环境传感数据进行预处理，包括坐标变换、投影变换等处理，从而得到包含相邻两帧环境传感数据的数据信息的高维数据。
示例性地，图3为本申请实施例一提供的相邻两帧环境传感数据的预处理过程示意图，如图3示，本实施例中，通过以下步骤实现对相邻两帧环境传感数据的预处理：
(1)根据激光雷达坐标系到车辆坐标系的变换关系，对相邻两帧环境传感数据进行坐标变换，得到车辆坐标系下相邻两帧环境传感数据的变换结果数据。
本实施例中，由于激光雷达和车辆具有不同的独立坐标系，而激光雷达连续采集的多帧环境传感数据是激光雷达坐标系统下的数据，为达到对车辆进行定位的目标，在预处理中，首先需要进行坐标变换，将激光雷达坐标下相邻两帧环境传感数据的转换到车辆坐标系统下，得到变换结果数据。
其中，激光雷达坐标系到车辆坐标系的变换关系，与激光雷达的安装位置有关，在激光雷达安装好后，激光雷达坐标系到车辆坐标系的变换关系就已确定。
本步骤中，变换结果数据中既包括三维点云数据的变换到车辆坐标系统下对应的数据，还包括反射强度数据，相应地，本步骤中在进行坐标变换时，先根据激光雷达坐标系到车辆坐标系的变换关系，对相邻两帧环境传感数据的三维点云数据进行坐标变换，得到相邻两帧环境传感数据的三维点云数据的坐标变换数据，再确定相邻两帧环境传感数据的坐标变换数据到坐标原点的距离数据，最后根据同一帧环境传感数据对应的反射强度数据、距离数据和坐标变换数据，生成相邻两帧环境传感数据的变换结果数据。
示例性地，激光雷达采集的激光点是以三维极坐标表示的，定义激光点的三维极坐标为(ρi,θi,γi)，其中，ρi表示激光雷达中心到检测物体的欧式距离，θi为激光雷达坐标系下的偏航发射角度，γi是激光雷达坐标系下的俯仰发射角度。为便于后续计算，本步骤中，先通过如下公式将每一帧环境传感数据中激光点的三维极坐标由极坐标系转换到笛卡尔坐标系下：
可选地，本步骤中，激光雷达坐标系到车辆坐标系的变换关系包括平移变换关系和旋转变换关系。可以理解的是，本实施例中，可以事先通过离线标定得到激光雷达坐标系到车辆坐标系统的平移变换关系和旋转变换关系，假设平移变换关系记为[xs,ys,zs]，旋转变换关系记为[ψs,βs,θs]，则可通过如下公式，得到车辆坐标系下，各激光点的三维点云数据的坐标变换数据：
其中，(xv,yv,zv)即为车辆坐标系下三维点云数据的坐标变换数据。
在得到三维点云数据的坐标变换数据后，根据空间点的距离计算公式，分别计算每一帧环境传感数据中各激光点的坐标变换数据到坐标原点的距离数据。距离计算公式表示为：
再将同一帧环境传感数据中同一激光点的反射强度数据、距离数据和坐标变换数据进行融合，得到变换结果数据，假设记为(xv,yv,zv,d,I)，其中，I为反射强度数据。
假设将某次计算选取的相邻两帧环境传感数据分别记为第一帧环境传感数据和第二帧环境传感数据，则本步骤中，通过上述公式(1)-(3)分别计算第一帧环境传感数据各激光点和第二帧环境传感数据中各激光点的坐标变换数据，再将第一帧环境传感数据中各激光点的坐标变换数据与对应的反射强度数据、距离数据进行融合，得到第一帧环境传感数据对应的变换结果数据，将第二帧环境传感数据中各激光点的坐标变换数据与对应的反射强度数据、距离数据进行融合，得到第二帧环境传感数据对应的变换结果数据。
可以理解的是，第一帧环境传感数据和第二帧环境传感数据的变换结果数据均为数据集合。
(2)采用球形投影法，将变换结果数据投影到预设的多通道二维平面上，得到相邻两帧环境传感数据的多通道投影结果数据。
本步骤中，通过球形投影法对步骤(1)中得到的变换结果数据进行投影变换，得到的多通道的投影结果数据。需要注意的是，本步骤中，在进行投影变换时，将相邻两帧环境传感数据的变换结果数据分别投影到两个不同的多通道二维平面上，得到两组不同的多通道投影结果数据，如将第一帧环境传感数据的第一变换结果数据投影到第一多通道二维平面上，得到第一多通道投影结果数据，将第二帧环境传感数据的第二变换结果数据，投影到第二多通道二维平面上，得到第二多通道投影结果数据。
可选地，本步骤中，通过如下公式，将变换结果数据投影到预设的多通道二维平面上，得到相邻两帧环境传感数据的多通道投影结果数据：
其中，xv、yv、zv表示三维点云数据的坐标变换数据，d表示坐标变换数据到坐标原点的距离数据，f表示激光雷达的垂直视角，fup表示表示激光雷达的最大向上视角，Nw表示多通道二维平面的宽度，Nh表示多通道二维平面的长度。
需要说明的是，上述公式(4)中，f和fup为激光雷达本身的参数，Nw和Nh为多通道二维平面本身的参数。
可选地，多通道二维平面包括第一坐标数据通道、第二坐标数据通道、第三坐标数据通道、距离数据通道和反射强度数据通道，其中，第一坐标数据、第二坐标数据和第三坐标数据为坐标变换数据中坐标数据，示例性地，第一坐标数据、第二坐标数据和第三坐标数据分别为xv、yv和zv。
(3)对相邻两帧环境传感数据的多通道投影结果数据进行维度扩展，得到包含相邻两帧环境传感数据的多通道投影结果数据的高维数据。
本步骤中，对相邻两帧环境传感数据的多通道投影结果数据进行维度扩展，例如，将第一多通道投影结果数据和第二多通道投影结果数据进行拼接，得到包含相邻两帧环境传感数据的多通道投影结果数据的高维数据。
需要说明的是，在图3中(a1)和(a2)表示相邻两帧环境传感数据的变换结果数据，(b1)和(b2)表示相邻两帧环境传感数据的多通道投影结果数据的平面效果图，其中，L1、L2、L3、L4和L5分别表示距离数据通道、第一坐标数据通道、第二坐标数据通道、第三坐标数据通道和反射强度数据通道，(c1)和(c2)表示相邻两帧环境传感数据的多通道投影结果数据的立体效果图，(d)表示对相邻两帧环境传感数据的多通道投影结果数据进行维度扩展后得到的高维数据。
S103、根据高维数据，通过深度神经网络模型确定相邻两帧环境传感数据之间的位姿转换关系，得到车辆的位姿数据。
本步骤中，将S102中得到的高维数据输入到深度神经网络模型中，通过深度神经网络模型对高维数据进行计算，确定相邻两帧环境传感数据之间的位姿转换关系，得到车辆的位姿数据。
其中，车辆的位姿数据中包括三个位置自由度和三个姿态自由度，三个位置自由度用于描述车辆的空间位置，三个姿态自由度包括俯仰角、翻翻滚角和偏航角，用于描述车辆的姿态(方向)。
可选地，本实施例中，深度神经网络模型包括残差卷积神经网络和全连接神经网络，相应地，本步骤中，通过残差卷积神经网络对高维数据进行下采样，得到高维特征数据；根据高维特征数据，通过全连接神经网络计算相邻两帧环境传感数据之间的位姿转换关系，得到车辆的位姿数据。
示例性地，图4为本申请实施例一提供的深度神经网络模型的结构示意图，如图4所示，残差卷积神经网络包括多个卷积层和至少一个池化层；全连接神经网络包括输入层、至少一个隐藏层和输出层，其中，残差卷积神经网络的输入数据为高维数据，残差卷积神经网络中经由池化层输出的高维特征数据即为全连接神经网络的输入数据。
在一种可能的实现方式中，本实施例提供的残差卷积神经网络中包括17个卷积层、一个最大池化层和一个平均池化层。
可以理解的是，本实施例中，通过重复上述S102-S103，以相邻两帧环境传感数据为一组，依次对激光雷达采集的多帧环境传感数据进行处理，就可以实现对车辆运动轨迹的估计。由于本实施例提供的深度神经网络每次可以同时对两帧环境传感数据进行处理，提高了对数据的处理效率。
本实施例中，通过获取激光雷达连续采集的多帧环境传感数据，环境传感数据包括三维点云数据和反射强度数据，对相邻两帧环境传感数据进行坐标变换和投影变换，得到包含相邻两帧环境传感数据的数据信息的高维数据，根据高维数据，通过深度神经网络模型确定相邻两帧环境传感数据之间的位姿转换关系，得到车辆的位姿数据，在不需要依赖人工设定的环境特征的情况下，实现了车辆定位，并提高了车辆定位的鲁棒性和准确性。
实施例二
下面以一个具体的实施例对深度神经网络模型的训练过程加以说明，示例性地，图5为本申请实施例二提供的深度神经网络模型的训练方法的流程示意图，如图5所示，本实施例的深度神经网络模型的训练方法包括：
S201、获取模型训练数据。
模型训练数据作为模型训练的基础，对模型训练至关重要，本步骤中，获取车载激光雷达采集的环境传感数据和对应的车辆位置数据作为模型训练数据，其中，车辆位置数据为高精度的全球定位系统(global positioning system，GPS)位置数据。
在一种可能的实现方式中，本步骤中，使用组合导航系统进行模型训练数据的获取，该组合导航系统主要包括全球导航卫星系统(global navigation satellite system，GNSS)以及惯性测量单元(inertial measurement unit，IMU)，该系统由输入装置、数据处理和控制部分、输出装置以及外围设备组成。配合实时动态(real-time kinematic，RTK)载波相位差分技术，以50Hz的频率输出精确的车辆位置和姿态信息(位姿信息)。基于真实的车辆运动信息和点云数据，制作用于深度学习模型训练的数据集。
S202、采用模型训练数据，对深度神经网络模型的待训练参数进行训练，得到深度神经网络模型的模型参数。
本步骤中，采用S201中获取的模型训练数据，对预先设计的深度神经网络模型架构的待训练参数进行训练，得到深度神经网络模型的模型参数，根据深度神经网络模型架构和训练得到的模型参数，得到深度神经网络模型。
在模型训练过程中，先将环境传感数据输入深度神经网络模型，计算得到的车辆的位姿数据，再根据计算得到的车辆位姿数据与对应的车辆位置数据的差异，对待训练参数进行修正，重复执行该过程，最终得到满足要求的模型参数。
可选地，本步骤中，模型参数为残差卷积神经网络和全连接神经网络的参数矩阵，其中，包括权重、偏置项等参数。
可以理解的是，在将模型训练数据输入深度神经网络模型之前，本实施例中，需要先采用实施例一中S102的方法，对模型训练数据中的环境传感数据进行预处理。并且，每一次输入深度神经网络模型的数据为激光雷达采集的相邻两帧环境传感数据对应的模型训练数据。
本实施例中，在对深度神经网络模型训练完成后，会采用测试数据集对其进行测试。本实施例使用了约40000帧点云数据进行训练，约20000帧点云数据进行测试，在测试集上能获得小于1％/100m的里程计估计精度。可以看出，本申请实施例所提出的基于深度学习的激光里程计能够对车辆的运动位姿进行准确的估计，能够在不依赖GPS的情况下对周围环境进行三维重建。
实施例三
图6为本申请实施例三提供的基于激光里程计的车辆定位装置的结构示意图，如图6所示，本实施例中基于激光里程计的车辆定位装置10包括：
获取模块11和处理模块12。
获取模块11，用于获取激光雷达连续采集的多帧环境传感数据，所述环境传感数据包括三维点云数据和反射强度数据；
处理模块12，用于对相邻两帧环境传感数据进行坐标变换和投影变换，得到包含所述相邻两帧环境传感数据的数据信息的高维数据；根据所述高维数据，通过深度神经网络模型确定所述相邻两帧环境传感数据之间的位姿转换关系，得到所述车辆的位姿数据。
可选地，所述深度神经网络模型包括残差卷积神经网络和全连接神经网络；处理模块12具体用于：
通过所述残差卷积神经网络对所述高维数据进行下采样，得到高维特征数据；
根据所述高维特征数据，通过全连接神经网络计算所述相邻两帧环境传感数据之间的位姿转换关系，得到所述车辆的位姿数据。
可选地，处理模块12具体用于：
根据激光雷达坐标系到车辆坐标系的变换关系，对所述相邻两帧环境传感数据进行坐标变换，得到车辆坐标系下所述相邻两帧环境传感数据的变换结果数据；
采用球形投影法，将所述变换结果数据投影到预设的多通道二维平面上，得到所述相邻两帧环境传感数据的多通道投影结果数据；
对所述相邻两帧环境传感数据的多通道投影结果数据进行维度扩展，得到包含所述相邻两帧环境传感数据的多通道投影结果数据的高维数据。
可选地，处理模块12具体用于：
所述根据激光雷达坐标系到车辆坐标系的变换关系，对所述相邻两帧环境传感数据的三维点云数据进行坐标变换，得到所述相邻两帧环境传感数据的三维点云数据的坐标变换数据；
确定所述相邻两帧环境传感数据的坐标变换数据到坐标原点的距离数据；
根据同一帧环境传感数据对应的反射强度数据、距离数据和坐标变换数据，生成所述相邻两帧环境传感数据的变换结果数据。
可选地，所述多通道二维平面包括第一坐标数据通道、第二坐标数据通道、第三坐标数据通道、距离数据通道和反射强度数据通道，其中，所述第一坐标数据、所述第二坐标数据和所述第三坐标数据为所述坐标变换数据中的坐标数据。
可选地，处理模块12具体用于：
采用如下公式，将所述变换结果数据投影到预设的多通道二维平面上，得到所述相邻两帧环境传感数据的多通道投影结果数据：
v＝[1-(arcsin(zv/d)+fup)/f]Nh
其中，xv、yv、zv表示三维点云数据的坐标变换数据，d表示坐标变换数据到坐标原点的距离数据，f表示激光雷达的垂直视角，fup表示表示激光雷达的最大向上视角，Nw表示多通道二维平面的宽度，Nh表示多通道二维平面的长度。
可选地，获取模块11还用于：
获取模型训练数据，所述模型训练数据包括环境传感数据和车辆位置数据；
处理模块12还用于：
采用所述模型训练数据，对所述深度神经网络模型的待训练参数进行训练，得到所述深度神经网络模型的模型参数。
本实施例所提供的基于激光里程计的车辆定位装置可执行上述方法实施例所提供的基于激光里程计的车辆定位方法，具备执行方法相应的功能模块和有益效果。本实施例的实现原理和技术效果与上述方法实施例类似，此处不再一一赘述。
实施例四
图7为本申请实施例四提供的一种电子设备的结构示意图，如图7所示，该电子设备20包括存储器21、处理器22及存储在存储器上并可在处理器上运行的计算机程序；电子设备20处理器22的数量可以是一个或多个，图7中以一个处理器22为例；电子设备20中的处理器22、存储器21可以通过总线或其他方式连接，图7中以通过总线连接为例。
存储器21作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请实施例中的获取模块11和处理模块12对应的程序指令/模块。处理器22通过运行存储在存储器21中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述的基于激光里程计的车辆定位方法。
存储器21可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器21可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器21可进一步包括相对于处理器22远程设置的存储器，这些远程存储器可以通过网格连接至电子设备。上述网格的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
实施例五
本申请实施例五还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在由计算机处理器执行时用于执行一种基于激光里程计的车辆定位方法，该方法包括：
获取激光雷达连续采集的多帧环境传感数据，所述环境传感数据包括三维点云数据和反射强度数据；
对相邻两帧环境传感数据进行坐标变换和投影变换，得到包含所述相邻两帧环境传感数据的数据信息的高维数据；
根据所述高维数据，通过深度神经网络模型确定所述相邻两帧环境传感数据之间的位姿转换关系，得到所述车辆的位姿数据。
当然，本申请实施例所提供的一种包计算机可读存储介质，其计算机程序不限于如上所述的方法操作，还可以执行本申请任意实施例所提供的基于激光里程计的车辆定位方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本申请可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网格设备等)执行本申请各个实施例所述的方法。
值得注意的是，上述基于激光里程计的车辆定位装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。
注意，上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由所附的权利要求范围决定。

Claims (9)

1.一种基于激光里程计的车辆定位方法，其特征在于，包括：
获取激光雷达连续采集的多帧环境传感数据，所述环境传感数据包括三维点云数据和反射强度数据；
对相邻两帧环境传感数据进行坐标变换和投影变换，得到包含所述相邻两帧环境传感数据的数据信息的高维数据；
根据所述高维数据，通过深度神经网络模型确定所述相邻两帧环境传感数据之间的位姿转换关系，得到所述车辆的位姿数据；
所述深度神经网络模型包括残差卷积神经网络和全连接神经网络；
所述根据所述高维数据，所述通过深度神经网络模型确定所述相邻两帧环境传感数据之间的位姿转换关系，得到所述车辆的位姿数据，包括：
通过所述残差卷积神经网络对所述高维数据进行下采样，得到高维特征数据；
根据所述高维特征数据，通过全连接神经网络计算所述相邻两帧环境传感数据之间的位姿转换关系，得到所述车辆的位姿数据。
2.根据权利要求1所述的方法，其特征在于，所述对相邻两帧环境传感数据进行坐标变换和投影变换，得到包含所述相邻两帧环境传感数据的数据信息的高维数据，包括：
根据激光雷达坐标系到车辆坐标系的变换关系，对所述相邻两帧环境传感数据进行坐标变换，得到车辆坐标系下所述相邻两帧环境传感数据的变换结果数据；
采用球形投影法，将所述变换结果数据投影到预设的多通道二维平面上，得到所述相邻两帧环境传感数据的多通道投影结果数据；
对所述相邻两帧环境传感数据的多通道投影结果数据进行维度扩展，得到包含所述相邻两帧环境传感数据的多通道投影结果数据的高维数据。
3.根据权利要求2所述的方法，其特征在于，所述根据激光雷达坐标系到车辆坐标系的变换关系，对所述相邻两帧环境传感数据的进行坐标变换，得到车辆坐标系下所述相邻两帧环境传感数据的变换结果数据，包括：
所述根据激光雷达坐标系到车辆坐标系的变换关系，对所述相邻两帧环境传感数据的三维点云数据进行坐标变换，得到所述相邻两帧环境传感数据的三维点云数据的坐标变换数据；
确定所述相邻两帧环境传感数据的坐标变换数据到坐标原点的距离数据；
根据同一帧环境传感数据对应的反射强度数据、距离数据和坐标变换数据，生成所述相邻两帧环境传感数据的变换结果数据。
4.根据权利要求3所述的方法，其特征在于，所述多通道二维平面包括第一坐标数据通道、第二坐标数据通道、第三坐标数据通道、距离数据通道和反射强度数据通道，其中，所述第一坐标数据、所述第二坐标数据和所述第三坐标数据为所述坐标变换数据中的坐标数据。
5.根据权利要求4所述的方法，其特征在于，所述采用球形投影法，将所述变换结果数据投影到预设的多通道二维平面上，得到所述相邻两帧环境传感数据的多通道投影结果数据，包括：
采用如下公式，将所述变换结果数据投影到预设的多通道二维平面上，得到所述相邻两帧环境传感数据的多通道投影结果数据：
v＝[1-(arcsin(zv/d)+fup)/f]Nh
其中，xv、yv、zv表示三维点云数据的坐标变换数据，d表示坐标变换数据到坐标原点的距离数据，f表示激光雷达的垂直视角，fup表示表示激光雷达的最大向上视角，Nw表示多通道二维平面的宽度，Nh表示多通道二维平面的长度。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述根据所述高维数据，通过深度神经网络模型确定所述相邻两帧环境传感数据之间的位姿转换关系，得到所述车辆的位姿数据之前，所述方法还包括：
获取模型训练数据，所述模型训练数据包括环境传感数据和车辆位置数据；
采用所述模型训练数据，对所述深度神经网络模型的待训练参数进行训练，得到所述深度神经网络模型的模型参数。
7.一种基于激光里程计的车辆定位装置，其特征在于，包括：
获取模块，用于获取激光雷达连续采集的多帧环境传感数据，所述环境传感数据包括三维点云数据和反射强度数据；
处理模块，用于对相邻两帧环境传感数据进行坐标变换和投影变换，得到包含所述相邻两帧环境传感数据的数据信息的高维数据；根据所述高维数据，通过深度神经网络模型确定所述相邻两帧环境传感数据之间的位姿转换关系，得到所述车辆的位姿数据；
所述深度神经网络模型包括残差卷积神经网络和全连接神经网络；
所述处理模块具体用于：
通过所述残差卷积神经网络对所述高维数据进行下采样，得到高维特征数据；
根据所述高维特征数据，通过全连接神经网络计算所述相邻两帧环境传感数据之间的位姿转换关系，得到所述车辆的位姿数据。
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6中任一所述的基于激光里程计的车辆定位方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的基于激光里程计的车辆定位方法。
CN202011519123.8A 2020-12-21 2020-12-21 基于激光里程计的车辆定位方法、装置、设备和存储介质 Active CN112747752B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011519123.8A CN112747752B (zh) 2020-12-21 2020-12-21 基于激光里程计的车辆定位方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011519123.8A CN112747752B (zh) 2020-12-21 2020-12-21 基于激光里程计的车辆定位方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN112747752A CN112747752A (zh) 2021-05-04
CN112747752B true CN112747752B (zh) 2024-02-02

Family

ID=75648630

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011519123.8A Active CN112747752B (zh) 2020-12-21 2020-12-21 基于激光里程计的车辆定位方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN112747752B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113465607A (zh) * 2021-06-30 2021-10-01 上海西井信息科技有限公司 港口车辆定位方法、装置、电子设备、存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005075303A (ja) * 2003-09-03 2005-03-24 Denso Corp 車両運行装置
CN109640068A (zh) * 2018-10-31 2019-04-16 百度在线网络技术（北京）有限公司 视频帧的信息预测方法、装置、设备以及存储介质
CN110503686A (zh) * 2019-07-31 2019-11-26 三星（中国）半导体有限公司 基于深度学习的物体位姿估计方法及电子设备
CN110673115A (zh) * 2019-09-25 2020-01-10 杭州飞步科技有限公司 雷达与组合导航系统的联合标定方法、装置、设备及介质
WO2020107020A1 (en) * 2018-11-23 2020-05-28 Volvo Car Corporation Lidar-based multi-person pose estimation
CN111402328A (zh) * 2020-03-17 2020-07-10 北京图森智途科技有限公司 一种基于激光里程计的位姿计算方法及装置
CN111912419A (zh) * 2020-08-28 2020-11-10 清华大学苏州汽车研究院（吴江） 基于激光雷达的高精度语义导航地图构建方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2018282435B1 (en) * 2018-11-09 2020-02-06 Beijing Didi Infinity Technology And Development Co., Ltd. Vehicle positioning system using LiDAR

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005075303A (ja) * 2003-09-03 2005-03-24 Denso Corp 車両運行装置
CN109640068A (zh) * 2018-10-31 2019-04-16 百度在线网络技术（北京）有限公司 视频帧的信息预测方法、装置、设备以及存储介质
WO2020107020A1 (en) * 2018-11-23 2020-05-28 Volvo Car Corporation Lidar-based multi-person pose estimation
CN110503686A (zh) * 2019-07-31 2019-11-26 三星（中国）半导体有限公司 基于深度学习的物体位姿估计方法及电子设备
CN110673115A (zh) * 2019-09-25 2020-01-10 杭州飞步科技有限公司 雷达与组合导航系统的联合标定方法、装置、设备及介质
CN111402328A (zh) * 2020-03-17 2020-07-10 北京图森智途科技有限公司 一种基于激光里程计的位姿计算方法及装置
CN111912419A (zh) * 2020-08-28 2020-11-10 清华大学苏州汽车研究院（吴江） 基于激光雷达的高精度语义导航地图构建方法和装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
《基于深度卷积神经网络的视觉里程计研究》;苏健鹏，黄影平，赵柏淦，胡兴;《光学仪器 》;第第42卷卷(第第4期期);全文 *
《基于激光雷达的无人车自主定位方法研究》;何月旺;《中国优秀硕士学位论文全文数据库》;全文 *
《基于视觉导航AGV的定位技术与路径规划研究》;王雨;《中国优秀硕士学位论文全文数据库》;全文 *
Wei-Chiu Ma ; Tartavull, I. ; Barsan, I.A. ; Shenlong Wang ; Min Bai ; Mattyus, G. ; Homayounfar, N. ; Lakshmikanth, S.K. ; Pokrovsky, A. ; Urtasun, R..《Exploiting Sparse Semantic HD Maps for Self-Driving Vehicle Localization》.《arXiv》.2020,全文. *

Also Published As

Publication number Publication date
CN112747752A (zh) 2021-05-04

Similar Documents

Publication Publication Date Title
Lu et al. L3-net: Towards learning based lidar localization for autonomous driving
CN109341706B (zh) 一种面向无人驾驶汽车的多特征融合地图的制作方法
CN107246876B (zh) 一种无人驾驶汽车自主定位与地图构建的方法及系统
US20220011122A1 (en) Trajectory prediction method and device
EP3940421A1 (en) Positioning method and device based on multi-sensor fusion
Nguyen et al. Appearance-based visual-teach-and-repeat navigation technique for micro aerial vehicle
CN113970922A (zh) 点云数据的处理方法、智能行驶控制方法及装置
Wu et al. Robust LiDAR-based localization scheme for unmanned ground vehicle via multisensor fusion
CN111402328B (zh) 一种基于激光里程计的位姿计算方法及装置
CN112747752B (zh) 基于激光里程计的车辆定位方法、装置、设备和存储介质
CN113252051A (zh) 一种地图构建方法及装置
CN112859110A (zh) 一种基于三维激光雷达的定位导航方法
CN115307646B (zh) 一种多传感器融合的机器人定位方法、系统及装置
CN116540706A (zh) 一种无人机为地面无人车提供局部路径规划系统及方法
Thallas et al. Particle filter—Scan matching hybrid SLAM employing topological information
CN113483769B (zh) 基于粒子滤波器的车辆自定位方法、系统、设备和介质
Lee et al. Infrastructure Node-based Vehicle Localization for Autonomous Driving
CN113554705A (zh) 一种变化场景下的激光雷达鲁棒定位方法
Chen et al. Improving Autonomous Vehicle Mapping and Navigation in Work Zones Using Crowdsourcing Vehicle Trajectories
Hu et al. Accurate fiducial mapping for pose estimation using manifold optimization
CN113034538A (zh) 一种视觉惯导设备的位姿跟踪方法、装置及视觉惯导设备
Subramanian et al. Integrating Computer Vision and Photogrammetry for Autonomous Aerial Vehicle Landing in Static Environment
Abdelhafid et al. Visual and light detection and ranging-based simultaneous localization and mapping for self-driving cars.
US20230075425A1 (en) Systems and methods for training and using machine learning models and algorithms
CN117537803B (zh) 机器人巡检语义-拓扑地图构建方法、系统、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant