CN111103578A - 一种基于深度卷积神经网络的激光雷达在线标定方法 - Google Patents
一种基于深度卷积神经网络的激光雷达在线标定方法 Download PDFInfo
- Publication number
- CN111103578A CN111103578A CN202010026353.4A CN202010026353A CN111103578A CN 111103578 A CN111103578 A CN 111103578A CN 202010026353 A CN202010026353 A CN 202010026353A CN 111103578 A CN111103578 A CN 111103578A
- Authority
- CN
- China
- Prior art keywords
- data
- laser radar
- neural network
- gnss
- convolutional neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000013528 artificial neural network Methods 0.000 claims abstract description 8
- 238000007405 data analysis Methods 0.000 claims abstract description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 12
- 238000011176 pooling Methods 0.000 claims description 8
- 238000003062 neural network model Methods 0.000 claims description 6
- 230000003068 static effect Effects 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 238000004088 simulation Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000009471 action Effects 0.000 claims description 2
- 238000012937 correction Methods 0.000 abstract description 8
- 238000009795 derivation Methods 0.000 abstract description 2
- 238000013178 mathematical model Methods 0.000 abstract description 2
- 238000005457 optimization Methods 0.000 abstract 1
- 210000002569 neuron Anatomy 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000006872 improvement Effects 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 206010039203 Road traffic accident Diseases 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/13—Receivers
- G01S19/23—Testing, monitoring, correcting or calibrating of receiver elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Networks & Wireless Communication (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Traffic Control Systems (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本发明的一种基于深度卷积神经网络的自动驾驶系统激光雷达在线标定方法，其目的是：提供一种端到端的激光雷达外参在线标定方法，避免复杂的数学模型推导和优化，利用深度卷积神经网络的数据分析能力处理激光雷达的点云数据和车辆GNSS数据，在线实时估计出激光雷达的外参误差，从而实现对激光雷达外参的实时修正，提升自动驾驶系统环境感知功能的准确性和稳定性，保证自动驾驶系统的行车安全。
Description
技术领域
本发明涉及一种面向自动驾驶系统的激光雷达标定方法，特别是关于一种基于深度卷积神经网络的激光雷达在线标定方法。
背景技术
尽管如今汽车主、被动安全技术已经发展得较为完善，但由于汽车保有量基数巨大，每年因交通事故造成的伤亡人数依然居高不下。研究表明，90％以上的交通事故因驾驶员分心引起。
近年来自动驾驶技术的兴起有望解决上述问题。自动驾驶系统通过传感器，如相机、激光雷达、毫米波雷达和超声波雷达，感知车外环境和车内环境，一方面识别车外的障碍物和交通标识，分析可通行区域，一方面识别车内乘客状态，与乘客进行实时交互。自动驾驶系统可以根据乘客设定的目的地自动规划有效路径，并根据环境感知结果生成安全轨迹，然后通过车辆动力学解算得出车辆底层控制增益，如期望油门开度和期望方向盘转角等，并通过线控底盘执行车辆底层控制增益，自动地驱动车辆向目的地行驶。由于能自动分析环境状态，自动控制车辆移动，具有自动驾驶系统的车辆不再需要驾驶员干预，从而避免了因驾驶员分心和误判而导致的交通事故。
目前自动驾驶系统中常用的障碍物检测传感器包括激光雷达、毫米波雷达和相机，其中激光雷达因感知视野大、测距精准而备受青睐，成为自动驾驶系统不可或缺的设备。许多已经配备驾驶辅助系统的量产车型上也配备了激光雷达，如奥迪A6L等。
但激光雷达检测到目标后，返回给自动驾驶系统的是障碍物在雷达坐标系中的相对位置，即以激光雷达为坐标原点的位置，而自动驾驶系统在决策过程中需要用到的是车辆坐标系中的位置，二者之间存在一个固定的转换关系，即雷达的外参。通常在自动驾驶系统工作前，工作人员会对激光雷达的安装位置进行静态标定，测量出从雷达坐标系到车辆坐标系的转换关系，并将该转换关系写入配置文件，以供自动驾驶系统调用。
不幸的是，在长期使用过程中，设备的安装支架会产生形变，影响雷达坐标系到车辆坐标系的转换关系。同时，车辆还会因胎压不稳、乘客数量不同、载荷不均等问题造成悬架形变，从而对雷达坐标系到车辆坐标系的转换关系产生临时影响。这些影响都会导致自动驾驶系统对障碍物的位置判断不准，进而导致系统决策失误，最终威胁自动驾驶系统的安全。
近年来兴起的深度卷积神经网络技术具有强非线性拟合能力和学习能力，易于从大数据中自动分离出关键特征，从而实现端到端的模式识别。将深度卷积神经网络技术与激光雷达的标定场景相结合，有望实现数据驱动的激光雷达在线标定，根据激光雷达的点云数据来在线实时估计激光雷达位姿的偏差，并对激光雷达的标定参数进行实时修正。但相关工作目前仍为空白。
发明内容
针对现有技术存在的不足，本发明的目的在于提供一种基于深度卷积神经网络的激光雷达外参在线标定方法，利用深度卷积神经网络的数据分析能力处理激光雷达的点云数据和车辆GNSS数据，在线实时估计出激光雷达的外参误差，从而实现对激光雷达外参的实时修正，保证自动驾驶系统的正常工作。
为实现上述目的，本发明提供了如下技术方案：一种基于深度卷积神经网络的激光雷达在线标定方法，包括如下步骤：
步骤一，构建大数据引擎；
步骤二，利用C++编程搭建初始深度卷积神经网络模型，并利用步骤一获得的大数据引擎所生成的数据对初始深度卷积神经网络模型进行训练，并保存训练好的深度卷积神经网络模型；
步骤三，将训练好的深度卷积神经网络模型搭载到自动驾驶系统中，在软件中连接好激光雷达数据、GNSS数据和深度卷积神经网络模型；正常运行自动驾驶系统，深度卷积神经网络模型将会实时收取激光雷达数据和GNSS数据，并实时比对二者的偏差，在线给出激光雷达的外参误差值。
作为本发明的进一步改进，所述步骤一中构建大数据引擎的具体步骤如下：
步骤一一，针对目标自动驾驶系统，安装好激光雷达和GNSS设备，并利用精密仪器完成对激光雷达和GNSS设备的静态标定，获得激光雷达的外参和GNSS设备的外参；
步骤一二，驾驶搭载已标定自动驾驶系统的车辆在目标工作区域、场景中行驶，行驶车速保持在30km/h以下，保证车辆不发生剧烈颠簸，采集激光点云和GNSS数据，并通过软件记录下来；
步骤一三，对已采集数据施加人为干扰，模拟车辆剧烈运动下的激光雷达点云数据和GNSS数据，并通过软件记录下来。
作为本发明的进一步改进，所述步骤一一中获得激光雷达的外参和GNSS设备的外参之后，进行预处理步骤；之后再进行同步步骤，具体的预处理步骤如下：
1)激光雷达的点云数据解析，即将激光雷达的原始数据转换为算法所需要的常用格式，以激光点的空间三维坐标为表征；
2)GNSS的数据解析，将GNSS的原始数据转换为算法所需要的常用格式，即车辆的空间三维6自由度位姿；
具体的同步步骤如下：
3)为激光点云数据标记系统时间；
4)根据激光点云的系统时间，在GNSS数据流中插值，获得激光点云所在时刻的GNSS近似数据。
作为本发明的进一步改进，所述步骤一三中的人为干扰的内容具体为：
模拟车速增高，利用现有数据进行数值模拟，生成高速行驶工况的数据；
模拟车辆颠簸，利用现有数据，对点云和GNSS轨迹共同施加预定好的短时间大俯仰和侧倾角度变换，模拟车辆的震动工况；
模拟遮挡工况，人为滤除多个角度的激光点云数据，使得深度卷积神经网络能应对点云稀少的工况；
模拟不同外参偏差值，通过人为加入预定好的外参偏差，获得带外参偏差的数据。
作为本发明的进一步改进，所述步骤二中的深度卷积神经网络模型具体结构包括数据流输入、全卷积层、池化层、金字塔池化层和全连接层。
作为本发明的进一步改进，所述步骤三中模型动作的具体步骤如下：
1，将激光点云数据转换为深度图；
2，将GNSS数据转换为深度图；
3，拼接激光深度图与GNSS深度图，形成混合深度图；
4，缓存9帧历史混合深度图，并与当前帧混合深度图共同拼接为大深度图；
5，将大深度图输入给深度卷积神经网络，得到估计的激光雷达外参；
6，将所估计的外参与原始静态标定外参值做差得到外参误差。
本发明的有益效果，1)不需要人为推导激光雷达的外参偏差变化数学模型，易于工程实用；2)进行外参误差估计所需的第三方设备为GNSS，该设备在自动驾驶系统中是必备的，所以本发明未增加额外设备，易于应用在现有自动驾驶系统中；3)本发明实现了激光雷达外参的实时在线标定，能为自动驾驶系统提供实时的外参修正，从而提升了自动驾驶系统的环境感知精度和可靠性，进而提升了自动驾驶系统的安全性。
附图说明
图1是本发明的硬件拓扑示意图；
图2是本发明的大数据引擎架构示意图；
图3是本发明的模型训练架构示意图；
图4是本发明的深度卷积神经网络模型示意图；
图5是本发明的模型部署应用架构示意图。
具体实施方式
下面将结合附图所给出的实施例对本发明做进一步的详述。
如图1所示，本发明所涉及的自动驾驶相关硬件包括激光雷达、GNSS(GlobalNavigation Satellite System，全球导航卫星系统)和计算单元。其中激光雷达在自动驾驶系统中用于障碍物检测，他会实时向自动驾驶系统反馈所检测到的点云信息，自动驾驶的障碍物检测算法基于点云信息分析障碍物的类别和位置。GNSS设备用于获取车辆的全球定位信息，是自动驾驶系统的主要定位手段之一。计算单元中运行着自动驾驶系统的核心算法，进行障碍物检测、可通行区域识别、决策规划，以及车辆动力学控制。激光雷达是本发明的研究对象，本发明所计算的外参误差即为激光雷达的位姿标定偏差。GNSS为本发明的算法提供辅助信息，本发明通过神经网络计算激光雷达外参误差的本质是：连续多帧激光点云变化所对应的车辆轨迹应与GNSS位置变化对应的轨迹一致。激光点云变化所对应的车辆轨迹具有强非线性，不易通过数据建模获得解析解，本发明通过深度卷积神经网络的学习能力，学习这种强非线性关系，从而避免复杂的数学建模，获得可靠的激光雷达外参误差。计算单元在本发明中有2个主要作用：1)在搭建大数据引擎时，采集和记录数据；2)在模型部署应用时，运行深度网络模型，实时估计激光雷达外参误差，供自动驾驶算法实用。注意，在实际实用过程中，自动驾驶算法也运行在计算单元中。
如图2所示，本发明的大数据引擎主要包含：车载部分和服务器部分。深度卷积神经网络中每个神经元的参数需要经过大数据的训练才能收敛到有效值，故而需要搭建大数据引擎，用于采集、处理和保存必要训练数据，以供深度卷积神经网络的训练使用。
大数据引擎的车载部分包括：传感器、预处理、数据同步和数据存储。其中，传感器主要包括：1)激光雷达，即为本发明的研究对象，提供自动驾驶车辆周围的环境点云数据；2)GNSS，提供车辆绝对定位信息。预处理部分主要进行：1)激光雷达的点云数据解析，即将激光雷达的原始数据转换为算法所需要的常用格式，以激光点的空间三维坐标为表征；2)GNSS的数据解析，将GNSS的原始数据转换为算法所需要的常用格式，即车辆的空间三维6自由度位姿。同步部分主要是将激光点云数据与GNSS数据对齐到同一个时间戳，包括：1)为激光点云数据标记系统时间；2)根据激光点云的系统时间，在GNSS数据流中插值，获得激光点云所在时刻的GNSS近似数据。存储部分即，将对齐后的激光点云数据与GNSS数据按时间顺序存储在计算单元的硬盘中。
大数据引擎的服务器部分主要包括：人为加偏部分和存储部分。人为加偏的目的是，利用现有数据生成更多有效数据，并通过特定的数据加偏内容，增强深度卷积神经网络的鲁棒性。加偏的内容主要包括：1)模拟车速增高，利用现有数据进行数值模拟，生成高速行驶工况的数据；2)模拟车辆颠簸，利用现有数据，对点云和GNSS轨迹共同施加预定好的短时间大俯仰和侧倾角度变换，模拟车辆的震动工况；3)模拟遮挡工况，人为滤除多个角度的激光点云数据，使得深度卷积神经网络能应对点云稀少的工况；4)模拟不同外参偏差值，通过人为加入预定好的外参偏差，获得带外参偏差的数据。存储部分，即将前述新生成的数据按时间顺序进行存储，以备后续训练使用。
大数据引擎的车载部分在自动驾驶车辆中运行，采集自动驾驶系统的目标工作环境数据。每次数据采集前，先通过高精度设备对激光雷达和GNSS的外参进行静态标定，获得准确外参值，作为模型训练时的参考。采集过程中，控制车速在30km/h以下，尽量保持车辆平稳行驶，这样做是为了避免设备的外参因车身的剧烈运动而发生改变。采集完成后，将车载部分的数据拷贝到服务器中，以进行后续处理。
大数据引擎的服务器部分运行在后台服务器中，根据车载采集的数据，经过人为加偏后生成更多有效数据，以支持深度卷积神经网络的大数据训练。其中，人为加偏的步骤可以：1)增加数据的工况种类，数据在实车采集时，只有低速、平稳行驶工况，通过人为加偏可以获得高速、剧烈驾驶工况下的数据；2)增加数据量，深度卷积神经网络容易过拟合，只有数据量足够大时，深度卷积神经网络才能在保证精度的基础上提升泛化能力，避免过拟合。
注意，在数据采集和存储过程中，也会记录好前述利用高精度设备所测量的外参标定值，作为模型训练时的参考值。
如图3所示，本发明的模型训练利用了深度卷积神经网络的反向修正机制。首先从存储器中读取大数据，将其解析为算法常用的格式，即激光点的空间三维坐标形式和车辆的空间三维6自由度位姿形式。然后将激光点云和GNSS数据输入给深度卷积神经网络模型，深度卷积神经网络模型会计算出外参的偏差值。将深度卷积神经网络计算的外参偏差值与存储器中存储的外参标准值进行比较，即可得到深度卷积神经网络的预测残差。利用预测残差向深度卷积神经网络模型的神经元参数求导，即可得到神经元参数的反向修正值。最后利用所获得的反向修正值对深度卷积神经网络的神经元参数进行修正，修正后即可进入下一轮迭代，如此往复，即可不断优化神经元参数，使得深度卷积神经网络具备对激光雷达外参误差的预测能力。
图4中所示为本实施例的深度卷积神经网络模型具体结构，主要包括：数据流输入、全卷积层、池化层、金字塔池化层和全连接层。图4中以16线Velodyne激光雷达的数据处理为例，每帧激光点云包含16线数据，每线数据包含上千个数据点。本发明中首先将每帧点云数据转换为深度图，像素为1800×16×1，即，宽度×高度×灰度。同时，为将GNSS数据也作为神经网络的输入，把GNSS信息转化为1800×16×1的深度图，该深度图的像素值即为车辆的GNSS数值。把点云深度图与GNSS深度图叠加在一起，形成1800×16×2的混合深度图。只有多帧图像运动才能产生车辆运动的路径，才能估计激光雷达的外参，因此本发明中缓存9帧历史混合深度图，与当前帧深度图共同拼接为一幅大深度图，作为深度卷积神经网络的输入，其像素为1800×160×2。如图4中所示，在输入大深度图以后，深度卷积神经网络依次经过全卷积、池化、金字塔池化和全连接层后得到预测的激光雷达外参，该外参以6维李代数的形式描述。在与数据库中所存储的精确外参做差后得到外参误差，外参误差将用于计算神经元的修正项，然后通过修正项的反向传播来调整神经元的参数值。
图5中所示为本发明的深度神经模型部署应用系统架构，主要包括：传感器和软件2部分。在训练完成后，深度卷积神经网络将部署在实车的自动驾驶系统中，用于实时计算激光雷达的外参偏差。部署架构的传感器部分包括：1)激光雷达，即为所求外参偏差的主体；2)GNSS，提供辅助信息，以便深度卷积神经网络能估计出准确外参。部署架构的软件部分包括：预处理、同步和模型3部分。预处理部分主要进行：1)激光雷达的点云数据解析，即将激光雷达的原始数据转换为算法所需要的常用格式，以激光点的空间三维坐标为表征；2)GNSS的数据解析，将GNSS的原始数据转换为算法所需要的常用格式，即车辆的空间三维6自由度位姿。同步部分主要是将激光点云数据与GNSS数据对齐到同一个时间戳，包括：1)为激光点云数据标记系统时间；2)根据激光点云的系统时间，在GNSS数据流中插值，获得激光点云所在时刻的GNSS近似数据。模型部分主要进行：1)将激光点云数据转换为深度图；2)将GNSS数据转换为深度图；3)拼接激光深度图与GNSS深度图，形成混合深度图；4)缓存9帧历史混合深度图，并与当前帧混合深度图共同拼接为大深度图；5)将大深度图输入给深度卷积神经网络，得到估计的激光雷达外参；6)将所估计的外参与原始静态标定外参值做差得到外参误差。
图5中所示的过程在线运行，为自动驾驶系统提供实时的激光雷达外参误差，以便提升自动驾驶系统的环境感知能力。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (6)
1.一种基于深度卷积神经网络的激光雷达在线标定方法，其特征在于：包括如下步骤：
步骤一，构建大数据引擎；
步骤二，利用C++编程搭建初始深度卷积神经网络模型，并利用步骤一获得的大数据引擎所生成的数据对初始深度卷积神经网络模型进行训练，并保存训练好的深度卷积神经网络模型；
步骤三，将训练好的深度卷积神经网络模型搭载到自动驾驶系统中，在软件中连接好激光雷达数据、GNSS数据和深度卷积神经网络模型；正常运行自动驾驶系统，深度卷积神经网络模型将会实时收取激光雷达数据和GNSS数据，并实时比对二者的偏差，在线给出激光雷达的外参误差值。
2.根据权利要求1所述的基于深度卷积神经网络的激光雷达在线标定方法，其特征在于：所述步骤一中构建大数据引擎的具体步骤如下：
步骤一一，针对目标自动驾驶系统，安装好激光雷达和GNSS设备，并利用精密仪器完成对激光雷达和GNSS设备的静态标定，获得激光雷达的外参和GNSS设备的外参；
步骤一二，驾驶搭载已标定自动驾驶系统的车辆在目标工作区域、场景中行驶，行驶车速保持在30km/h以下，保证车辆不发生剧烈颠簸，采集激光点云和GNSS数据，并通过软件记录下来；
步骤一三，对已采集数据施加人为干扰，模拟车辆剧烈运动下的激光雷达点云数据和GNSS数据，并通过软件记录下来。
3.根据权利要求2所述的基于深度卷积神经网络的激光雷达在线标定方法，其特征在于：所述步骤一一中获得激光雷达的外参和GNSS设备的外参之后，进行预处理步骤；之后再进行同步步骤，具体的预处理步骤如下：
1）激光雷达的点云数据解析，即将激光雷达的原始数据转换为算法所需要的常用格式，以激光点的空间三维坐标为表征；
2）GNSS的数据解析，将GNSS的原始数据转换为算法所需要的常用格式，即车辆的空间三维6自由度位姿；
具体的同步步骤如下：
3）为激光点云数据标记系统时间；
4）根据激光点云的系统时间，在GNSS数据流中插值，获得激光点云所在时刻的GNSS近似数据。
4.根据权利要求3所述的基于深度卷积神经网络的激光雷达在线标定方法，其特征在于：所述步骤一三中的人为干扰的内容具体为：
模拟车速增高，利用现有数据进行数值模拟，生成高速行驶工况的数据；
模拟车辆颠簸，利用现有数据，对点云和GNSS轨迹共同施加预定好的短时间大俯仰和侧倾角度变换，模拟车辆的震动工况；
模拟遮挡工况，人为滤除多个角度的激光点云数据，使得深度卷积神经网络能应对点云稀少的工况；
模拟不同外参偏差值，通过人为加入预定好的外参偏差，获得带外参偏差的数据。
5.根据权利要求4所述的基于深度卷积神经网络的激光雷达在线标定方法，其特征在于：所述步骤二中的深度卷积神经网络模型具体结构包括数据流输入、全卷积层、池化层、金字塔池化层和全连接层。
6.根据权利要求5所述的基于深度卷积神经网络的激光雷达在线标定方法，其特征在于：所述步骤三中模型动作的具体步骤如下：
1）将激光点云数据转换为深度图；
2）将GNSS数据转换为深度图；
3）拼接激光深度图与GNSS深度图，形成混合深度图；
4）缓存9帧历史混合深度图，并与当前帧混合深度图共同拼接为大深度图；
5）将大深度图输入给深度卷积神经网络，得到估计的激光雷达外参；
6）将所估计的外参与原始静态标定外参值做差得到外参误差。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010026353.4A CN111103578B (zh) | 2020-01-10 | 2020-01-10 | 一种基于深度卷积神经网络的激光雷达在线标定方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010026353.4A CN111103578B (zh) | 2020-01-10 | 2020-01-10 | 一种基于深度卷积神经网络的激光雷达在线标定方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111103578A true CN111103578A (zh) | 2020-05-05 |
| CN111103578B CN111103578B (zh) | 2022-02-15 |
Family
ID=70426132
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010026353.4A Expired - Fee Related CN111103578B (zh) | 2020-01-10 | 2020-01-10 | 一种基于深度卷积神经网络的激光雷达在线标定方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111103578B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111798397A (zh) * | 2020-07-08 | 2020-10-20 | 上海振华重工电气有限公司 | 一种激光雷达数据的消抖与雨雾处理方法 |
| CN113640778A (zh) * | 2021-08-12 | 2021-11-12 | 东风悦享科技有限公司 | 一种基于无重叠视场的多激光雷达的联合标定方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109270534A (zh) * | 2018-05-07 | 2019-01-25 | 西安交通大学 | 一种智能车激光传感器与相机在线标定方法 |
| CN109544638A (zh) * | 2018-10-29 | 2019-03-29 | 浙江工业大学 | 一种用于多传感器融合的异步在线标定方法 |
| US20190120947A1 (en) * | 2017-10-19 | 2019-04-25 | DeepMap Inc. | Lidar to camera calibration based on edge detection |
| CN109949371A (zh) * | 2019-03-18 | 2019-06-28 | 北京智行者科技有限公司 | 一种用于激光雷达和相机数据的标定方法 |
| CN109959911A (zh) * | 2019-03-25 | 2019-07-02 | 清华大学 | 基于激光雷达的多目标自主定位方法及装置 |
| CN110007293A (zh) * | 2019-04-24 | 2019-07-12 | 禾多科技（北京）有限公司 | 场端多线束激光雷达的在线标定方法 |
| CN110514225A (zh) * | 2019-08-29 | 2019-11-29 | 中国矿业大学 | 一种矿井下多传感器融合的外部参数标定及精准定位方法 |
-
2020
- 2020-01-10 CN CN202010026353.4A patent/CN111103578B/zh not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190120947A1 (en) * | 2017-10-19 | 2019-04-25 | DeepMap Inc. | Lidar to camera calibration based on edge detection |
| CN109270534A (zh) * | 2018-05-07 | 2019-01-25 | 西安交通大学 | 一种智能车激光传感器与相机在线标定方法 |
| CN109544638A (zh) * | 2018-10-29 | 2019-03-29 | 浙江工业大学 | 一种用于多传感器融合的异步在线标定方法 |
| CN109949371A (zh) * | 2019-03-18 | 2019-06-28 | 北京智行者科技有限公司 | 一种用于激光雷达和相机数据的标定方法 |
| CN109959911A (zh) * | 2019-03-25 | 2019-07-02 | 清华大学 | 基于激光雷达的多目标自主定位方法及装置 |
| CN110007293A (zh) * | 2019-04-24 | 2019-07-12 | 禾多科技（北京）有限公司 | 场端多线束激光雷达的在线标定方法 |
| CN110514225A (zh) * | 2019-08-29 | 2019-11-29 | 中国矿业大学 | 一种矿井下多传感器融合的外部参数标定及精准定位方法 |
Non-Patent Citations (2)
| Title |
|---|
| HANBO XU等: "Online Intelligent Calibration of Cameras and LiDARs for Autonomous Driving Systems", 《2019 IEEE INTELLIGENT TRANSPORTATION SYSTEMS CONFERENCE (ITSC)》 * |
| 达兴鹏等: "移动机器人里程计系统误差及激光雷达安装误差在线标定", 《机器人》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111798397A (zh) * | 2020-07-08 | 2020-10-20 | 上海振华重工电气有限公司 | 一种激光雷达数据的消抖与雨雾处理方法 |
| CN113640778A (zh) * | 2021-08-12 | 2021-11-12 | 东风悦享科技有限公司 | 一种基于无重叠视场的多激光雷达的联合标定方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111103578B (zh) | 2022-02-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111142091B (zh) | 一种融合车载信息的自动驾驶系统激光雷达在线标定方法 | |
| CN113819914B (zh) | 一种地图构建方法及装置 | |
| KR102581263B1 (ko) | 위치 추적 방법, 장치, 컴퓨팅 기기 및 컴퓨터 판독 가능한 저장 매체 | |
| CN113870343B (zh) | 相对位姿标定方法、装置、计算机设备和存储介质 | |
| CN117836653A (zh) | 一种基于车载定位装置的路侧毫米波雷达校准方法 | |
| CN113819905B (zh) | 一种基于多传感器融合的里程计方法及装置 | |
| CN111169468B (zh) | 一种自动泊车的系统及方法 | |
| CN111649740B (zh) | 一种基于imu进行车辆高精度定位的方法及系统 | |
| US20200364883A1 (en) | Localization of a mobile unit by means of a multi-hypothesis kalman filter method | |
| CN111103578B (zh) | 一种基于深度卷积神经网络的激光雷达在线标定方法 | |
| CN111257853B (zh) | 一种基于imu预积分的自动驾驶系统激光雷达在线标定方法 | |
| CN107521559A (zh) | 转向角标定方法、运动轨迹计算方法和设备和车载设备 | |
| CN114526745A (zh) | 一种紧耦合激光雷达和惯性里程计的建图方法及系统 | |
| US10974730B2 (en) | Vehicle perception system on-line diangostics and prognostics | |
| CN113252022B (zh) | 一种地图数据处理方法及装置 | |
| CN113252051A (zh) | 一种地图构建方法及装置 | |
| CN110728720B (zh) | 用于相机标定的方法、装置、设备和存储介质 | |
| JP2022027593A (ja) | 可移動機器の測位方法、装置及び可移動機器 | |
| CN112406965B (zh) | 一种提高列车定位安全性的方法及系统 | |
| CN113238251A (zh) | 一种基于车载激光雷达的目标级语义定位方法 | |
| CN110596741A (zh) | 车辆定位方法、装置、计算机设备和存储介质 | |
| CN114994641A (zh) | 一种参数标定方法、装置、电子设备及存储介质 | |
| Parra-Tsunekawa et al. | A kalman-filtering-based approach for improving terrain mapping in off-road autonomous vehicles | |
| CN211427151U (zh) | 一种应用于封闭场地无人驾驶货运车辆上的自动引导系统 | |
| CN117075158A (zh) | 基于激光雷达的无人变形运动平台的位姿估计方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220215 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |