CN111103577A - 一种基于循环神经网络的端到端激光雷达标定方法 - Google Patents

一种基于循环神经网络的端到端激光雷达标定方法 Download PDF

Info

Publication number
CN111103577A
CN111103577A CN202010014757.1A CN202010014757A CN111103577A CN 111103577 A CN111103577 A CN 111103577A CN 202010014757 A CN202010014757 A CN 202010014757A CN 111103577 A CN111103577 A CN 111103577A
Authority
CN
China
Prior art keywords
neural network
laser radar
gnss
calibration method
cyclic neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010014757.1A
Other languages
English (en)
Inventor
秦晓辉
常灯祥
边有钢
谢国涛
王晓伟
秦兆博
胡满江
徐彪
丁荣军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Original Assignee
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University filed Critical Hunan University
Priority to CN202010014757.1A priority Critical patent/CN111103577A/zh
Publication of CN111103577A publication Critical patent/CN111103577A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/23—Testing, monitoring, correcting or calibrating of receiver elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明的一种基于循环神经网络的自动驾驶端到端激光雷达标定方法，其目的是：设计基于神经网络的激光雷达标定系统，提出了基于FlowNet和Bi‑LSTM神经网络的标定方法，充分利用深度图像流的时空信息，有效提高了激光雷达标定精度和稳定性，且具有较强的可操作性，减少了标定时间，便于微调后对其进行重新标定。

Description

一种基于循环神经网络的端到端激光雷达标定方法
技术领域
本发明涉及一种基于神经网络的激光雷达标定方法，特别是关于一种基于循环神经网络的端到端激光雷达标定方法。
背景技术
近年来随着传感器技术的快速发展，视觉传感器、测距传感器、位移传感器等广泛应用于工程技术领域，提供了较为可靠、稳定的测量信息。汽车工程领域的快速发展使得汽车保有量逐年攀升，由此引发的道路拥堵、交通事故等问题高居不下，并造成了严重的经济和财产损失。
人工智能和自动驾驶技术的兴起，是解决上述问题的有效方法。基于多传感器融合的自动驾驶方案，可提供更加稳定可靠的环境信息和车辆状态信息，具有更强的鲁棒性和抗干扰能力，从而满足车辆在复杂工况、恶劣环境下的使用需求。
传感器标定是多传感器融合的基础，标定精度不仅影响环境信息和车辆状态信息准确性，更对后续自动驾驶决策系统产生严重干扰，引发错误决策信息，造成任务规划失败甚至交通事故。目前自动驾驶车辆使用多种传感器，如相机、激光雷达、毫米波雷达、GNSS(全球导航卫星系统)、IMU(惯性测量单元)，且各传感器相互关联，需分别对其进行标定，获得各传感器坐标系间相对位姿转化。采用传统人工标准器标定方法，效率低下、精度较差，且传感器发生微调时，需重新进行标定。
基于非线性优化的多传感器联合标定是解决上述问题的一种有效方法，通过建立参数模型利用已知数据完成多参数优化求解，但该方法仍有很多问题和缺陷。首先，模型精准度对标定结果有较大影响，而由于传感器运行环境复杂多变，难以对传感器噪声进行精确建模。其次，为精确对传感器进行联合标定，需引入一定数量的非线性参数，但参数数量的增加会降低标定系统的稳定性。
发明内容
针对现有技术存在的不足，本发明的目的在于提供一种设计自动驾驶激光雷达标定系统，提出循环神经网络端到端标定方法，以提高激光雷达标定精度，减少标定时间，增强标定过程可操作性。
为实现上述目的，本发明提供了如下技术方案：一种基于循环神经网络的端到端激光雷达标定方法，包括如下步骤：
步骤1，对自动驾驶GNSS定位系统进行调试，并完成车辆定位精度测试；
步骤2，利用自动驾驶GNSS定位系统和车载激光雷达，在不同驾驶场景分别采集GNSS数据信息和激光雷达点云信息；
步骤3，搭建基于FlowNet卷积神经网络和Bi-LSTM循环神经网络的激光雷达标定系统，利用步骤2中的GNSS获得的真实运动轨迹和激光雷达采集的点云数据，对搭建的神经网络进行训练并验证；
步骤4，利用步骤3训练完成神经网络对自动驾驶激光雷达进行标定。
作为本发明的进一步改进，所述步骤1中GNSS定位系统采用实时动态差分法，由固定站和移动站组成，其中车载移动站使用固定站发送的差分数据进行RTK精准定位。
作为本发明的进一步改进，所述步骤3中神经网络由预处理单元、卷积神经网络层、循环神经网络层和全连接层组成。
作为本发明的进一步改进，所述步骤2中在处于空旷场地驾驶场景时，分别采集直线行驶和稳态回环行驶过程中GNSS和激光雷达点云数据集。
作为本发明的进一步改进，所述步骤3中的Bi-LSTM循环神经网络内具有输入门、遗忘门和输出门，并且该Bi-LSTM循环神经网络为双向循环神经网络。
本发明的有益效果，1、本发明通过端到端的神经网络对自动驾驶激光雷达进行标定，有效降低了标定复杂度，提高了标定效率。2、本发明利用神经网络的强大非线性化能力，无需建立激光雷达标定参数模型，有效解决了模型构建复杂且精度有限的问题，提高了标定精度。3、本发明针对激光雷达点云数据流特性，构建双向循环神经网络可充分利用数据流前向和后向时序信息，进一步提高了激光雷达标定精准度和稳定性。4、本发明在空旷场地分别采集车辆直线行驶和稳态回转行驶过程中GNSS与激光雷达点云数据，有利于激光雷达位姿估计和标定系统神经网络训练。5、本发明适用于多种车辆传感器标定，通用程度高便于工程实践和应用。
附图说明
图1是本发明数据采集系统示意图；
图2是本发明激光雷达标定系统神经网络训练示意图；
图3是本发明激光雷达标定系统示意图；
图4是本发明神经网络架构图。
具体实施方式
下面将结合附图所给出的实施例对本发明做进一步的详述。
如图1所示，基于神经网络的激光雷达标定方法数据采集系统，传感器由GNSS、激光雷达组成。分别在直线行驶和稳态回转行驶场景驾驶车辆，并在行驶过程中同时采集GNSS定位信息和激光雷达点云信息，获取多组数据用于神经网络训练和验证。
如图2所示，激光雷达标定系统神经网络训练架构图，首先将激光雷达点云数据转化为有序深度图像，并输入至神经网络进行训练；然后将神经网络计算的估计运动轨迹与GNSS获得的真实运动轨迹进行对此，并通过反向传播修正神经网络权重矩阵，从而使得估计运动轨迹更加符合真实运动轨迹。
如图3所示，自动驾驶激光雷达标定系统，在直线行驶或稳态回转行驶过程中实时采集激光雷达点云数据，将其转化为深度图像并输入至已训练完成的激光雷达标定系统神经网络，可直接获得激光雷达坐标系与GNSS坐标系间位姿转换，实现自动驾驶端到端激光雷达标定。
如图4所示，自动驾驶激光雷达标定系统神经网络架构图，图中给出了激光雷达点云输入单元、预处理单元、卷积神经网络层、双向循环神经网络层和全连接层的详细架构。预处理单元首先将从输入单元获得的点云数据转化为深度图像序列，调整分辨率并将相邻两帧深度图像进行叠加；然后利用像素均值和方差对叠加图像进行归一化处理，以加快系统收敛，减少神经网络训练时间。为获得激光雷达运动信息，在卷积神经网络层使用光流估计网络(FlowNet)，提取深度图像几何特征，利用相邻图像像素在时域上的变化，计算相邻帧间的运动信息，此外采用预先训练的FlowNet，有效加速了端到端神经网络激光雷达标定系统的收敛。循环神经网络由于将历史信息和当前任务相关联，适用于数据流处理，可有效利用深度图像时序信息。同时，为避免由于图像序列较长，引起反向传播过程中梯度严重退化，造成神经网络收敛至较差解，本发明采用双向长短期记忆网络(Bidirectional LongShort-Term Memory，Bi-LSTM)架构，利用输入门、遗忘门和输出门实现对信息的保护和控制，可有效解决梯度退化问题。此外，由于Bi-LSTM同时构建前向和后向循环神经网络，充分利用深度图像前向和后向时序信息，有效提高了激光雷达标定系统精度和稳定性。全连接层根据Bi-LSTM层输出的深度图像信息，对激光雷达位姿和GNSS与激光雷达间的相对位姿转换进行估计。为对GNSS坐标系和相机坐标系相对位姿进行标定，设计代价函数如下：
Figure BDA0002358456690000051
其中，θ为优化参数，由激光雷达位姿(pl，tl)和激光雷达坐标系到GNSS坐标系的旋转向量Rgl和平移向量tgl组成；(pg，tg)表示由GNSS获得与激光雷达估计位姿(Pl，tl)相对应的真实位姿；N为图像序列数量；权重ω用于平衡旋转向量代价和平移向量代价。通过神经网络对参数θ进行迭代优化，完成端到端激光雷达标定系统神经网络训练，从而激光雷达坐标系至GNSS坐标系间的位姿转换，实现自动驾驶激光雷达标定。
综上所述，本实施例中提供的方法，利用自动驾驶GNSS差分定位系统定位精度高、实时性良好等优点，获取车辆的真实运动轨迹，并用于训练标定系统的循环神经网络，充分利用了自动驾驶GNSS定位信息，在空旷场地分别采集直线行驶和稳态回环行驶过程中GNSS和激光雷达点云数据集，有利于激光位姿估计和标定系统神经网络训练，同时使用卷积神经网络和循环神经网络，利用循环神经网络弥补卷积神经网络无法有效利用深度图像流时序信息的缺点，通过FlowNet卷积神经网络获取深度图像的特征信息和运动信息，并采用预训练FlowNet卷积神经网络，加快标定系统收敛，Bi-LSTM通过引入输入门、遗忘门和输出门，有效解决了传统循环神经网络反向传播过程中梯度严重退化的问题，避免了激光雷达标定系统收敛至不良解，提高了标定精度；Bi-LSTM采用双向循环神经网络，充分利用了深度图像流前向和后向时序信息，提高了标定系统稳定性和精准度，本发明的方法无需构建复杂且精度有限的标定系统参数模型，提高了标定精度、简化了标定过程复杂度，且标定系统通用程度高，可用于自动驾驶其他传感器的标定，便于工程实践和应用。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种基于循环神经网络的端到端激光雷达标定方法，其特征在于：包括如下步骤：
步骤1，对自动驾驶GNSS定位系统进行调试，并完成车辆定位精度测试；
步骤2，利用自动驾驶GNSS定位系统和车载激光雷达，在不同驾驶场景分别采集GNSS数据信息和激光雷达点云信息；
步骤3，搭建基于FlowNet卷积神经网络和Bi-LSTM循环神经网络的激光雷达标定系统，利用步骤2中的GNSS获得的真实运动轨迹和激光雷达采集的点云数据，对搭建的神经网络进行训练并验证；
步骤4，利用步骤3训练完成神经网络对自动驾驶激光雷达进行标定。
2.根据权利要求1所述的基于循环神经网络的端到端激光雷达标定方法，其特征在于：所述步骤1中GNSS定位系统采用实时动态差分法，由固定站和移动站组成，其中车载移动站使用固定站发送的差分数据进行RTK精准定位。
3.根据权利要求1或2所述的基于循环神经网络的端到端激光雷达标定方法，其特征在于：所述步骤3中神经网络由预处理单元、卷积神经网络层、循环神经网络层和全连接层组成。
4.根据权利要求1或2所述的基于循环神经网络的端到端激光雷达标定方法，其特征在于：所述步骤2中在处于空旷场地驾驶场景时，分别采集直线行驶和稳态回环行驶过程中GNSS和激光雷达点云数据集。
5.根据权利要求4所述的基于循环神经网络的端到端激光雷达标定方法，其特征在于：所述步骤3中的Bi-LSTM循环神经网络内具有输入门、遗忘门和输出门，并且该Bi-LSTM循环神经网络为双向循环神经网络。
CN202010014757.1A 2020-01-07 2020-01-07 一种基于循环神经网络的端到端激光雷达标定方法 Pending CN111103577A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010014757.1A CN111103577A (zh) 2020-01-07 2020-01-07 一种基于循环神经网络的端到端激光雷达标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010014757.1A CN111103577A (zh) 2020-01-07 2020-01-07 一种基于循环神经网络的端到端激光雷达标定方法

Publications (1)

Publication Number Publication Date
CN111103577A true CN111103577A (zh) 2020-05-05

Family

ID=70426824

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010014757.1A Pending CN111103577A (zh) 2020-01-07 2020-01-07 一种基于循环神经网络的端到端激光雷达标定方法

Country Status (1)

Country Link
CN (1) CN111103577A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111521996A (zh) * 2020-05-30 2020-08-11 上海工程技术大学 一种激光雷达的安装标定方法
CN112344922A (zh) * 2020-10-26 2021-02-09 中国科学院自动化研究所 单目视觉里程计定位方法及系统
CN112693466A (zh) * 2021-01-29 2021-04-23 重庆长安汽车股份有限公司 一种车辆环境感知传感器性能测评系统及方法
CN113008291A (zh) * 2021-03-15 2021-06-22 北京信息科技大学 数据生成方法及装置、存储介质及电子装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108227707A (zh) * 2017-12-25 2018-06-29 清华大学苏州汽车研究院（吴江） 基于激光雷达和端到端深度学习方法的自动驾驶方法
CN109165562A (zh) * 2018-07-27 2019-01-08 深圳市商汤科技有限公司 神经网络的训练方法、横向控制方法、装置、设备及介质
EP3438872A1 (en) * 2017-08-04 2019-02-06 Bayerische Motoren Werke Aktiengesellschaft Method, apparatus and computer program for a vehicle
CN109405827A (zh) * 2018-11-23 2019-03-01 安徽华米信息科技有限公司 终端定位方法及装置
CN109959911A (zh) * 2019-03-25 2019-07-02 清华大学 基于激光雷达的多目标自主定位方法及装置
US20190258251A1 (en) * 2017-11-10 2019-08-22 Nvidia Corporation Systems and methods for safe and reliable autonomous vehicles
US20190391235A1 (en) * 2018-06-20 2019-12-26 Metawave Corporation Super-resolution radar for autonomous vehicles

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3438872A1 (en) * 2017-08-04 2019-02-06 Bayerische Motoren Werke Aktiengesellschaft Method, apparatus and computer program for a vehicle
US20190258251A1 (en) * 2017-11-10 2019-08-22 Nvidia Corporation Systems and methods for safe and reliable autonomous vehicles
CN108227707A (zh) * 2017-12-25 2018-06-29 清华大学苏州汽车研究院（吴江） 基于激光雷达和端到端深度学习方法的自动驾驶方法
US20190391235A1 (en) * 2018-06-20 2019-12-26 Metawave Corporation Super-resolution radar for autonomous vehicles
CN109165562A (zh) * 2018-07-27 2019-01-08 深圳市商汤科技有限公司 神经网络的训练方法、横向控制方法、装置、设备及介质
CN109405827A (zh) * 2018-11-23 2019-03-01 安徽华米信息科技有限公司 终端定位方法及装置
CN109959911A (zh) * 2019-03-25 2019-07-02 清华大学 基于激光雷达的多目标自主定位方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111521996A (zh) * 2020-05-30 2020-08-11 上海工程技术大学 一种激光雷达的安装标定方法
CN112344922A (zh) * 2020-10-26 2021-02-09 中国科学院自动化研究所 单目视觉里程计定位方法及系统
CN112693466A (zh) * 2021-01-29 2021-04-23 重庆长安汽车股份有限公司 一种车辆环境感知传感器性能测评系统及方法
CN113008291A (zh) * 2021-03-15 2021-06-22 北京信息科技大学 数据生成方法及装置、存储介质及电子装置

Similar Documents

Publication Publication Date Title
CN111103577A (zh) 一种基于循环神经网络的端到端激光雷达标定方法
CN111522043B (zh) 一种无人车激光雷达快速重新匹配定位方法
CN109270534B (zh) 一种智能车激光传感器与相机在线标定方法
CN109945858B (zh) 用于低速泊车驾驶场景的多传感融合定位方法
CN108073170B (zh) 用于自主车辆的自动化协同驾驶控制
CN108731670B (zh) 基于量测模型优化的惯性/视觉里程计组合导航定位方法
Alonso et al. Accurate global localization using visual odometry and digital maps on urban environments
CN108868268A (zh) 基于点到面距离和互相关熵配准的无人车位姿估计方法
CN111880207B (zh) 一种基于小波神经网络的视觉惯性卫星紧耦合定位方法
WO2020083103A1 (zh) 一种基于深度神经网络图像识别的车辆定位方法
CN113763548B (zh) 基于视觉-激光雷达耦合的贫纹理隧洞建模方法及系统
CN107192376B (zh) 基于帧间连续性的无人机多帧图像目标定位校正方法
CN113376669B (zh) 一种基于点线特征的单目vio-gnss融合定位算法
CN112147651B (zh) 一种异步多车协同目标状态鲁棒估计方法
CN113920198B (zh) 一种基于语义边缘对齐的由粗到精的多传感器融合定位方法
CN110969643B (zh) 地面目标移动轨迹的星上自主预测方法
CN109949364B (zh) 一种基于路侧单目摄像头的车辆姿态检测精度优化方法
CN115031718B (zh) 一种多传感器融合的无人船同步定位与建图方法(slam)及系统
CN110942477A (zh) 一种利用双目相机和激光雷达深度图融合的方法
CN112179338A (zh) 一种基于视觉和惯导融合的低空无人机自身定位方法
CN114964276A (zh) 一种融合惯导的动态视觉slam方法
Liu A robust and efficient lidar-inertial-visual fused simultaneous localization and mapping system with loop closure
CN110213713B (zh) 一种基于时空域联合处理的集中式协作定位系统和方法
CN115792894A (zh) 一种多传感器融合车辆目标跟踪方法、系统及存储介质
CN114966789A (zh) 一种融合gnss与多视角视觉的建图方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200505

WD01 Invention patent application deemed withdrawn after publication