CN114119770B - 一种基于深度学习的多传感器外参联合标定方法及系统 - Google Patents

一种基于深度学习的多传感器外参联合标定方法及系统 Download PDF

Info

Publication number
CN114119770B
CN114119770B CN202111386454.3A CN202111386454A CN114119770B CN 114119770 B CN114119770 B CN 114119770B CN 202111386454 A CN202111386454 A CN 202111386454A CN 114119770 B CN114119770 B CN 114119770B
Authority
CN
China
Prior art keywords
module
calibration
parameter
laser radar
learning model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111386454.3A
Other languages
English (en)
Other versions
CN114119770A (zh
Inventor
胡斌杰
尚洪程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202111386454.3A priority Critical patent/CN114119770B/zh
Publication of CN114119770A publication Critical patent/CN114119770A/zh
Application granted granted Critical
Publication of CN114119770B publication Critical patent/CN114119770B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于深度学习的多传感器外参联合标定方法及系统。所述方法，采用建立的相机‑3D激光雷达外参在线标定深度学习模型实现相机和3D激光雷达之间的外参标定，其中，相机‑3D激光雷达外参在线标定深度学习模型，具体包括：依次连接的特征提取模块、通道注意力机制模块、空间金字塔池化模块、标定参数回归模块和预测输出模块。本发明全程无需人为的参与、调控，实现了全自动的在线标定和误差自我修正，能够提高标定效率和标定精度。

Description

一种基于深度学习的多传感器外参联合标定方法及系统
技术领域
本发明涉及传感器外参标定领域，特别是涉及一种基于深度学习的多传感器外参联合标定方法及系统。
背景技术
自动驾驶是近年来的热门课题，涉及感知、控制、规划等复杂任务，其首要任务是实现基于多传感器融合的智能感知。通过激光雷达、相机等传感器进行外部环境的感知，然后再对各类传感器的感知数据进行融合以增强自动驾驶环境下的环境感知能力。
在自动驾驶系统的感知层，最为普遍使用的传感器是RGB相机(单目、双目)和多线激光雷达。激光雷达向周围环境发射激光并接收反射激光，根据接收和反射的时间差以及光速来计算被探测点到激光雷达的距离。基于这样的测距原理，激光雷达可以获得水平360度及纵向一定角度的高精度的深度信息。然而，激光雷达的光线数量有限，只能获得分辨率有限的稀疏点云。RGB单目相机能够从环境中获取高分辨率的颜色和纹理信息，但无法从图像数据恢复出真实3D运动中的尺度信息，不能获得高精度的深度信息。因此，RGB相机和激光雷达在数据层面是互补的，二者的融合也是当今自动驾驶传感融合的热门研究问题。为了实现高质量的传感融合，相机和激光雷达的外参数标定是极为关键的，只有得到了各传感器之间精确的坐标系变换关系，才能精确地将各传感器获得的数据进行匹配，从而进行数据的各个层次的融合。
目前，相机-3D激光雷达的外参标定方法大多采用离线标定，该类标定方法无法纠正由于环境变化或在现场运行过程中的振动而造成的任何偏差，一旦传感器由于外界环境不可抗力因素造成校准偏差，往往需要专业人员重新标定，而人为标定，不仅费时耗力，且误差较大。因此，现有的传感器外参标定方法的标定效率和标定精度都有待提高。
发明内容
基于此，本发明实施例提供一种基于深度学习的多传感器外参联合标定方法及系统，全程无需人为的参与、调控，实现了全自动的在线标定和误差自我修正，能够提高标定效率和标定精度。
为实现上述目的，本发明提供了如下方案：
一种基于深度学习的多传感器外参联合标定方法，包括：
建立相机-3D激光雷达外参在线标定深度学习模型；所述相机-3D激光雷达外参在线标定深度学习模型用于实现相机和3D激光雷达之间的外参标定；
其中，所述相机-3D激光雷达外参在线标定深度学习模型，具体包括：依次连接的特征提取模块、通道注意力机制模块、空间金字塔池化模块、标定参数回归模块和预测输出模块；所述特征提取模块用于对RGB图像和激光雷达点云深度图进行特征提取；所述通道注意力机制模块用于采用通道注意力机制对所述特征提取模块输出的特征进行自适应加权；所述空间金字塔池化模块用于从加权后的特征中挖掘不同尺寸特征并采用固定长度输出特征，以避免模型迁移所需的数据裁剪；所述标定参数回归模块用于对所述空间金字塔池化模块输出的特征进行标定参数的回归，以挖掘所述RGB图像和所述激光雷达点云深度图之间的匹配映射关系；所述预测输出模块用于根据所述匹配映射关系输出标定参数预测值。
可选的，所述通道注意力机制模块，包括：图像通道注意力机制子模块和点云深度图通道注意力机制子模块；所述图像通道注意力机制子模块和所述点云深度图通道注意力机制子模块均包括依次连接的全局平均池化层、第二卷积层和第三卷积层；所述图像通道注意力机制子模块的输入为所述特征提取模块从所述RGB图像中提取的特征；所述点云深度图通道注意力机制子模块的输入为所述特征提取模块从所述激光雷达点云深度图中提取的特征。
可选的，所述空间金字塔池化模块，包括：第一卷积层、第一空间金字塔池化层、第二空间金字塔池化层和第三空间金字塔池化层；所述第一卷积层的输入与所述通道注意力机制模块的输出连接，所述第一卷积层的输出分别与所述第一空间金字塔池化层、所述第二空间金字塔池化层和所述第三空间金字塔池化层连接。
可选的，所述标定参数回归模块，包括：液态时间常数网络；所述液态时间常数网络的输入与所述空间金字塔池化模块的输出连接；所述液态时间网络的输出与所述预测输出模块的输入连接。
可选的，所述预测输出模块，包括：第一全连接层、第二全连接层和第三全连接层；所述第一全连接层的输入与所述标定参数回归模块的输出连接；所述第一全连接层的输出分别与所述第二全连接层和所述第三全连接层连接。
可选的，所述特征提取模块，包括：图像特征提取子模块和点云深度图特征提取子模块；所述图像特征提取子模块和所述点云深度图特征提取子模块均采用resnet-18网络，所述点云深度图特征提取子模块中的各层卷积核的数量均为所述图像特征提取子模块中相应层卷积核数量的一半；所述图像特征提取子模块用于从所述RGB图像中提取特征；所述点云深度图特征提取子模块用于从所述激光雷达点云深度图中提取特征。
可选的，所述相机-3D激光雷达外参在线标定深度学习模型是采用训练集和验证集对参数未定的深度学习模型进行训练得到的；
其中，训练过程，具体包括：
对于当前的epoch，将训练集输入深度学习模型中进行训练，得到当前epoch的深度学习模型；所述训练集包括RGB训练图像和激光雷达点云深度训练图；
将验证集输入所述当前epoch的深度学习模型，根据标定参数参考值和所述当前epoch的深度学习模型输出的标定参数预测值，计算损失函数输出的损失值是否处于设定范围内；所述验证集包括RGB验证图像和激光雷达点云深度验证图；所述损失值包括预测变换损失和点云距离变换损失；
若是，则保存所述当前epoch的深度学习模型的参数，继续训练下一个epoch；
当所有的epochs都训练结束，在保证训练时的损失值和验证时的损失值均未出现过拟合和欠拟合的情况下，从保存的所有参数中，选择损失值最小的参数作为模型的最优参数；所述最优参数对应的深度学习模型为所述相机-3D激光雷达外参在线标定深度学习模型。
可选的，所述损失函数为：
Ltotal＝aLt+bLp；
其中，
Lt＝||Rpre-Rgt||+||tpre-tgt||2；
Ltotal表示损失值，Lt表示预测变换损失，Lp表示点云距离损失，a表示预测变换损失的平衡因子，b表示预测变换损失的平衡因子，Tpre表示深度学习模型输出的标定参数预测值，Rpre表示深度学习模型输出的旋转参数预测值，tpre表示深度学习模型输出的平移参数预测值，Tgt为标定参数参考值，Rgt表示旋转参数参考值，tgt表示平移参数参考值，N表示参与损失函数计算的点云数目，Tinit表示初始训练标定参数，Pi表示激光雷达训练点云中的第i个点云。
可选的，所述液态时间常数网络的隐藏状态时间导数为：
其中，S(t)＝f(h(t),x(t),t,θ)(A-h(t))，τ表示时间常数，S(t)表示由第一神经网络参数θ和第二神经网络参数A决定的神经网络，f(h(t),x(t),t,θ)表示由第一神经网络参数θ决定的神经网络，x(t)表示f(h(t),x(t),t,θ)在t时刻的输入数据，h(t)表示f(h(t),x(t),t,θ)在t时刻的输出隐藏状态。
本发明还提供了一种基于深度学习的多传感器外参联合标定系统，包括：
参数标定模型构建单元，用于建立相机-3D激光雷达外参在线标定深度学习模型；所述相机-3D激光雷达外参在线标定深度学习模型用于实现相机和3D激光雷达之间的外参标定；
其中，所述相机-3D激光雷达外参在线标定深度学习模型，具体包括：依次连接的特征提取模块、通道注意力机制模块、空间金字塔池化模块、标定参数回归模块和预测输出模块；所述特征提取模块用于对RGB图像和激光雷达点云深度图进行特征提取；所述通道注意力机制模块用于采用通道注意力机制对所述特征提取模块输出的特征进行自适应加权；所述空间金字塔池化模块用于从加权后的特征中挖掘不同尺寸特征并采用固定长度输出特征，以避免模型迁移所需的数据裁剪；所述标定参数回归模块用于对所述空间金字塔池化模块输出的特征进行标定参数的回归，以挖掘所述RGB图像和所述激光雷达点云深度图之间的匹配映射关系；所述预测输出模块用于根据所述匹配映射关系输出标定参数预测值。
与现有技术相比，本发明的有益效果是：
本发明实施例提出了一种基于深度学习的多传感器外参联合标定方法及系统，采用建立的相机-3D激光雷达外参在线标定深度学习模型实现相机和3D激光雷达之间的外参标定，其中，相机-3D激光雷达外参在线标定深度学习模型，具体包括：依次连接的特征提取模块、通道注意力机制模块、空间金字塔池化模块、标定参数回归模块和预测输出模块。该相机-3D激光雷达外参在线标定深度学习模型，通过空间池化金字塔和标定参数回归联合的网络结构设计，具有鲁棒、轻量化的优点；引入通道注意力机制可以实现对通道特征的自适应加权，提升网络的表征能力；引入空间池化金字塔，适配不同尺寸大小的输入数据，无需进行数据裁剪操作，并挖掘不同尺寸空间特征；全程无需人为的参与、调控，实现了全自动的在线标定和误差自我修正，能够提高标定效率和标定精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的采用相机-3D激光雷达外参在线标定深度学习模型实现相机和3D激光雷达之间的外参标定的具体实现过程图；
图2为本发明实施例提供的相机-3D激光雷达外参在线标定深度学习模型的训练方法的流程图；
图3为本发明实施例提供的相机-3D激光雷达外参在线标定深度学习模型的结构图；
图4为本发明实施例提供的通道注意力机制模块的结构图；
图5为本发明实施例提供的空间金字塔池化模块的结构图；
图6为本发明实施例提供的旋转平均绝对误差与数量关系图；
图7为本发明实施例提供的平移平均绝对误差与数量关系图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
近年来，深度学习在自动驾驶领域应用广泛，其有效助力于车辆自动化、智能化的发展。但深度学习神经网络模型一般参数量较大，对硬件设备的性能要求高，故基于通道注意力机制和轻量化、高表征能力的神经网络模型受到广泛关注。
目前自动驾驶领域中，基于多源异构传感器之间的标定方法还需进一步探索，特别是提升应用范围较广的相机-3D激光雷达外参标定方法的自主性。深度学习能够有效应对复杂的非线性问题，而多传感器之间的外参标定就是一个强非线性的优化问题。故将深度学习应用于相机-3D激光雷达的外参标定，设计一种鲁棒性好、精度佳、轻量化和自动化程度高的外参在线标定校准方法颇有价值。
本实施例提供的多传感器外参联合标定方法，包括：
建立相机-3D激光雷达外参在线标定深度学习模型；所述相机-3D激光雷达外参在线标定深度学习模型用于实现相机和3D激光雷达之间的外参标定。
其中，所述相机-3D激光雷达外参在线标定深度学习模型，具体包括：依次连接的特征提取模块、通道注意力机制模块、空间金字塔池化模块、标定参数回归模块和预测输出模块；所述特征提取模块用于对RGB图像和激光雷达点云深度图进行特征提取；所述通道注意力机制模块用于采用通道注意力机制对所述特征提取模块输出的特征进行自适应加权；所述空间金字塔池化模块用于从加权后的特征中挖掘不同尺寸特征并采用固定长度输出特征，以避免模型迁移所需的数据裁剪；所述标定参数回归模块用于对所述空间金字塔池化模块输出的特征进行标定参数的回归，以挖掘所述RGB图像和所述激光雷达点云深度图之间的匹配映射关系；所述预测输出模块用于根据所述匹配映射关系输出标定参数预测值。
在实际应用中，采用所述相机-3D激光雷达外参在线标定深度学习模型实现相机和3D激光雷达之间的外参标定，具体实现过程为：
步骤101：获取RGB图像和激光雷达点云深度图；所述激光雷达点云深度图是采用初始标定参数将激光雷达点云投影到二维图像坐标系上生成的。
步骤102：将所述RGB图像和所述激光雷达点云深度图输入相机-3D激光雷达外参在线标定深度学习模型中，得到修正后的标定参数；所述标定参数包括旋转参数和平移参数。
所述相机-3D激光雷达外参在线标定深度学习模型是采用训练集和验证集对参数未定的深度学习模型进行训练得到的，参见图2，所述相机-3D激光雷达外参在线标定深度学习模型的训练方法为：
步骤201：获取RGB训练图像和激光雷达训练点云。
步骤202：采用初始训练标定参数将所述激光雷达训练点云投影到所述二维图像坐标系上，生成激光雷达点云深度训练图；所述初始训练标定参数是在标定参数参考值(地面真值)中加入随机误差得到的。
步骤203：将所述RGB训练图像和所述激光雷达点云深度训练图输入深度学习模型中进行训练，将训练好的深度学习模型确定为所述相机-3D激光雷达外参在线标定深度学习模型。
所述相机-3D激光雷达外参在线标定深度学习模型的结构如图3所示，参见图3，该相机-3D激光雷达外参在线标定深度学习模型的结构包括依次连接的特征提取模块、通道注意力机制模块、空间金字塔池化模块、标定参数回归模块和预测输出模块。
所述特征提取模块用于对所述RGB图像(RGB Image)和所述激光雷达点云深度图(Mis-Calibrated Depth Image)进行特征提取。所述特征提取模块，包括：图像特征提取子模块(RGB branch)和点云深度图特征提取子模块(Depth branch)。所述图像特征提取子模块和所述点云深度图特征提取子模块均采用resnet-18网络，所述点云深度图特征提取子模块中的各层卷积核的数量均为所述图像特征提取子模块中相应层卷积核数量的一半，即点云深度特征提取模块采用1/2通道数的resnet-18网络，由于点云深度图只存储深度信息，故提取点云深度图特征的resnet-18通道数减半。所述图像特征提取子模块用于从所述RGB图像中提取特征；所述点云深度图特征提取子模块用于从所述激光雷达点云深度图中提取特征。
特征提取模块的resnet-18网络的结构参数如表1所示，该网络结构由conv1、pooling、conv2_x、conv3_x、conv4_x、conv5_x组成，其卷积核的大小和输出通道数可由表1查询。
表1 resnet-18网络的结构参数
所述通道注意力机制模块(Channel attention)用于采用通道注意力机制对所述特征提取模块输出的特征进行自适应加权，奖励对参数回归任务贡献度大的通道特征。所述通道注意力机制模块，包括：图像通道注意力机制子模块和点云深度图通道注意力机制子模块；这两个子模块分别采用通道注意力机制来奖励对参数回归任务贡献度大的通道特征。所述图像通道注意力机制子模块和所述点云深度图通道注意力机制子模块均包括依次连接的全局平均池化层、第二卷积层和第三卷积层，第二卷积层的激活函数为Relu，第三卷积层的激活函数为Sigmoid。所述图像通道注意力机制子模块的输入为所述特征提取模块从所述RGB图像中提取的特征；所述点云深度图通道注意力机制子模块的输入为所述特征提取模块从所述激光雷达点云深度图中提取的特征。
通道注意力机制模块的结构设计如图4所示，通过该模块的设计可以保证输入注意力机制前后的特征维度一致，并对标定回归任务贡献度大的特征通道进行加权。参见图4，H表示特征图的高，W表示特征图的宽，H_gp表示全局平均池化层，W_d表示卷积核大小为1*1、数量为C/r的卷积层，W_u表示卷积核大小为1*1、数量为C的卷积层，f表示Sigmoid激活函数。若输入通道注意力机制模块的特征通道数为C，训练数据一次加载数据大小为batch，通道缩放比例系数为r。输入特征先进行全局平均池化，得到输出特征尺寸为(batch，C,1,1)；然后把输出特征传入卷积核大小为1x1，输出通道数为C/r大小的第二卷积层，并用Relu激活函数激活，得到输出尺寸为(batch,C/r,1,1)的卷积特征；再将卷积特征输入卷积核大小为1x1，输出通道数为C的第三卷积层，并用Sigmoid激活函数激活；最后把输入通道注意力机制的特征与通道注意力机制模块输出的权重进行元素乘法，得到注意力机制作用后的特征结果。
所述空间金字塔池化模块用于从所述通道特征中挖掘不同尺寸特征并采用固定长度输出特征。所述空间金字塔池化模块，包括：单层的CNN卷积层(第一卷积层conv)和三层的空间金字塔池化层(SpatialPyramid Pooling，SPP)，三层分别为第一空间金字塔池化层、第二空间金字塔池化层和第三空间金字塔池化层。第一卷积层的卷积核大小为3*3，步长为1，填充为1，三层空间金字塔池化层的大小分别为1，4，16，如图5所示。所述第一卷积层的输入与所述通道注意力机制模块的输出连接，所述第一卷积层的输出分别与所述第一空间金字塔池化层、所述第二空间金字塔池化层和所述第三空间金字塔池化层连接。
所述标定参数回归模块用于对所述空间金字塔池化模块输出的特征进行标定参数的回归，以挖掘所述RGB图像和所述激光雷达点云深度图之间的匹配映射关系。所述标定参数回归模块，包括：液态时间常数网络(Liquid Time-constantNetworks，LTC)；所述液态时间常数网络的输入与所述空间金字塔池化模块的输出连接；所述液态时间网络的输出与所述预测输出模块的输入连接。液态时间常数网络的隐藏层神经元个数设置为256。空间池化金字塔模块输出特征传入液态时间常数网络进行标定参数回归，在保证网络结构轻量化的同时加速了模型的收敛。
液态时间常数网络是一种引入Neural ODE思想的循环神经网络，具有优于NeuralODE的表征学习能力。液态时间常数网络提出了一个更稳定的隐藏状态时间导数：
其中，S(t)＝f(h(t),x(t),t,θ)(A-h(t))，τ表示时间常数，的作用是在求解过程中使系统达到具有时间常数τ的平衡状态；S(t)表示由第一神经网络参数θ和第二神经网络参数A决定的神经网络，f(h(t),x(t),t,θ)表示由第一神经网络参数θ决定的神经网络，x(t)表示f(h(t),x(t),t,θ)在t时刻的输入数据，h(t)表示f(h(t),x(t),t,θ)在t时刻的输出隐藏状态。f(h(t),x(t),t,θ)的网络结构设计不仅能在训练阶段学习，而且还能持续不断地适应。此外，使用微分方程思想构建的神经元具有高度表征能力，可以用较少的神经元完成复杂的目标任务。这对轻量化、高性能的深度学习模型设计十分友好。
所述预测输出模块用于根据所述匹配映射关系输出标定参数预测值。所述预测输出模块，具体包括：第一全连接层(FC0)、第二全连接层(FC1)和第三全连接层(FC2)。所述液态时间常数网络的输出与所述第一全连接层的输入连接；所述第一全连接层的输出分别与所述第二全连接层和所述第三全连接层连接。第一全连接层的神经元个数为128，第二全连接层和第三全连接层的神经元个数均为3。
步骤203的训练过程，具体为：
1)对于当前的epoch，将训练集输入深度学习模型中进行训练，得到当前epoch的深度学习模型；所述训练集包括RGB训练图像和激光雷达点云深度训练图。
2)将验证集输入所述当前epoch的深度学习模型，根据标定参数参考值和所述当前epoch的深度学习模型输出的标定参数预测值，计算损失函数输出的损失值是否处于设定范围内；所述验证集包括RGB验证图像和激光雷达点云深度验证图；所述损失值包括预测变换损失和点云距离变换损失。
3)若是，则保存所述当前epoch的深度学习模型的参数，继续训练下一个epoch。当所有的epochs都训练结束，在保证训练时的损失值和验证时的损失值均未出现过拟合和欠拟合的情况下，从保存的所有参数中，选择损失值最小的参数作为模型的最优参数；所述最优参数对应的深度学习模型为所述相机-3D激光雷达外参在线标定深度学习模型。
其中，所述损失函数为：
Ltotal＝aLt+bLp；
其中，
Lt＝||Rpre-Rgt||+||tpre-tgt||2；
Ltotal表示损失值，Lt表示预测变换损失，Lp表示点云距离损失，a表示预测变换损失的平衡因子，b表示预测变换损失的平衡因子，Tpre表示深度学习模型输出的标定参数预测值，Rpre表示深度学习模型输出的旋转参数预测值，tpre表示深度学习模型输出的平移参数预测值，Tgt为标定参数参考值，Rgt表示旋转参数参考值，tgt表示平移参数参考值，N表示参与损失函数计算的点云数目，Tinit表示初始训练标定参数，Pi表示激光雷达训练点云中的第i个点云。
在实际应用中，模型的具体训练和测试过程如下：
1)构建深度学习模型。
2)生成点云深度图，构建训练、测试集。通过地面真值加入随机误差模拟相机-激光雷达之间具有不同大小误差的初始训练标定参数，然后根据生成的初始训练标定参数联合相机的内参把激光雷达的3D点云投影到图像上生成包含一系列标定随机误差的点云深度图。其中，点云深度图存储的是激光点云的深度距离信息。联合RGB图像和点云深度图构建模型的训练、测试数据集。
该步骤，首先对公开数据集的地面真值Tgt[Rgt|tgt]加入随机误差得到具有误差的初始训练标定参数Tinit[Rinit|tinit]其中，随机误差范围为旋转(-10°,+10°)，平移(-0.25m,+0.25m)。其次，联合相机的内参K，可以把3D激光雷达的点云Pi＝[Xi,Yi,Zi]∈R3投影到2D图像坐标系pi＝[ui,vi]∈R2下构建3D点云的深度图。投影过程如公式所示：
其中，为Pi的齐次坐标系，/>为pi的齐次坐标系，Rinit、tinit分别为初始训练标定参数Tinit的旋转向量和平移向量，/>为3D激光雷达点云Pi映射到图像pi存储的点云深度值。
3)设计损失函数，设计了两类损失函数联合优化。第一类是网络输出预测值与真值的L2范损失；第二类考虑激光雷达点云通过外参真值和网络预测输出映射之间的误差，构建了基于3D点云映射的损失。
4)训练并保存结果，输入数据到步骤1)所构建的深度学习模型中进行训练。其中，将RGB训练图像、激光雷达点云深度训练图分别输入特征提取模块的两个子模块进行图像和点云深度特征的提取；将提取的图像特征和点云深度图特征分别输入对应的通道注意力机制子模块；把通道注意力机制模块输出的图像特征和点云深度图特征进行串联，并传入空间金字塔模块的第一卷积层进行特征融合，然后再传入三层的空间金字塔池化层进行不同尺寸空间的特征挖掘以及动态适配不同尺寸的输入图像，这样不必进行图像尺寸的裁剪以适配网络模型；将空间金字塔模块输出传入标定参数回归模块的液态时间常数网络进行参数的回归，然后再传入三层全连接层输出结果。训练结束后，将模型权重参数保存到指定的文件路径。
该步骤中，进行模型训练与保存涉及的超参数设置如下：
通过多次实验测试，得出效果较好的参数设置需满足：LTC的学习率设置为0.001，其他模块的学习率设置为3·e-4,每间隔几个epoch，学习率衰减0.5。一共训练了40个epoch，batchsize的大小设置为4。
5)模型性能测试，将未在训练集中出现过的数据构建测试集，并把测试数据输入到训练好的深度学习模型中得到测试结果，即测试数据经过网络误差修正后的平均绝对旋转误差和平移误差值。根据测试结果作出旋转和平移的平均绝对误差图。
该步骤中，具体的性能测试如下：
采用了KITTI数据集中“2011_09_26”序列进行训练和测试。其中训练、验证数据集20000组，测试数据集3000组(测试数据场景未出现在训练集中)。真实城市场景数据测试结果如图6和图7所示。
参见图6和图7，当输入测试数据集的标定误差范围在：旋转(-10°，+10°)，平移(-0.25m，+0.25m)时，网络模型输出结果可以使误差控制到旋转0.31°，平移0.044m，实现相机-3D激光雷达的自我标定和修正。
本实施例的外参在线标定模型称为CalibCA-LTC，为充分验证该模型的优良性能，对3类代表性深度学习相机-3D激光雷达外参标定模型进行对比分析，实验对比结果如表2和表3所示。
表2三类代表性深度学习方法与本实施例测试结果对比
表2验证了本实施例提出的标定方法的先进性，同样的测试数据集，本实施例中的CalibCA-LTC模型测试误差总体更小。在测试结果中，RegNet的旋转误差相对小一些，但它是一个5次迭代模型，而本实施例属于单次模型，却可以得到与之相当的测试结果，可见本实施例所提出的模型具有较高的精度。
表3.三类深度学习方法与本实施例模型参数量对比
Method RegNet CalibNet CalibRCNN CalibCA-LTC(Ours)
Totalparameters 4660万 5395万 6470万 2523万
表3进一步对各模型的模型参数量进行对比，可以发现，本实施例提出的CalibCA-LTC模型参数量最小，仍具备较高的模型表征能力。
综上所述，充分验证了本实施例所提出的标定方法的优越性，具备高精度、高鲁棒、轻量化的优点。
本实施例提出的基于通道注意力机制和LTC网络联合的深度学习相机-3D激光雷达外参在线标定方法，利用深度学习神经网络在线实时估计自动驾驶系统中的相机-3D激光雷达之间的外参标定结果，全程无需人为的参与、调控，实现了相机-3D激光雷达的自我外参在线标定和修正；采用通道注意力机制对提取的通道特征进行自适应加权，建立了特征任务贡献度奖励机制；采用了池化空间金字塔来适配不同尺寸大小的输入数据，无需进行数据裁剪操作，且通过池化空间金字塔挖掘不同尺寸空间的特征，有利于提升标定校准精度；在标定参数回归模块采用了液态时间常数网络LTC，该网络结构具备像液体一样改变其底层的数学方程以持续适应新的输入数据，具备高表征能力，本实施例采用空间池化金字塔和液态时间常数网络联合设计网络结构，使得该网络结构同时具有鲁棒、轻量化的优点。
本发明还提供了一种基于深度学习的多传感器外参联合标定系统，所述系统，包括：
参数标定模型构建单元，用于建立相机-3D激光雷达外参在线标定深度学习模型；所述相机-3D激光雷达外参在线标定深度学习模型用于实现相机和3D激光雷达之间的外参标定；
其中，所述相机-3D激光雷达外参在线标定深度学习模型，具体包括：依次连接的特征提取模块、通道注意力机制模块、空间金字塔池化模块、标定参数回归模块和预测输出模块；所述特征提取模块用于对RGB图像和激光雷达点云深度图进行特征提取；所述通道注意力机制模块用于采用通道注意力机制对所述特征提取模块输出的特征进行自适应加权；所述空间金字塔池化模块用于从加权后的特征中挖掘不同尺寸特征并采用固定长度输出特征，以避免模型迁移所需的数据裁剪；所述标定参数回归模块用于对所述空间金字塔池化模块输出的特征进行标定参数的回归，以挖掘所述RGB图像和所述激光雷达点云深度图之间的匹配映射关系；所述预测输出模块用于根据所述匹配映射关系输出标定参数预测值。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种基于深度学习的多传感器外参联合标定方法，其特征在于：
建立相机-3D激光雷达外参在线标定深度学习模型；所述相机-3D激光雷达外参在线标定深度学习模型用于实现相机和3D激光雷达之间的外参标定；
其中，所述相机-3D激光雷达外参在线标定深度学习模型，具体包括：依次连接的特征提取模块、通道注意力机制模块、空间金字塔池化模块、标定参数回归模块和预测输出模块；所述特征提取模块用于对RGB图像和激光雷达点云深度图进行特征提取；所述通道注意力机制模块用于采用通道注意力机制对所述特征提取模块输出的特征进行自适应加权；所述空间金字塔池化模块用于从加权后的特征中挖掘不同尺寸特征并采用固定长度输出特征，以避免模型迁移所需的数据裁剪；所述标定参数回归模块用于对所述空间金字塔池化模块输出的特征进行标定参数的回归，以挖掘所述RGB图像和所述激光雷达点云深度图之间的匹配映射关系；所述预测输出模块用于根据所述匹配映射关系输出标定参数预测值；
所述通道注意力机制模块，包括：图像通道注意力机制子模块和点云深度图通道注意力机制子模块；所述图像通道注意力机制子模块和所述点云深度图通道注意力机制子模块均包括依次连接的全局平均池化层、第二卷积层和第三卷积层；所述图像通道注意力机制子模块的输入为所述特征提取模块从所述RGB图像中提取的特征；所述点云深度图通道注意力机制子模块的输入为所述特征提取模块从所述激光雷达点云深度图中提取的特征；
所述空间金字塔池化模块，包括：第一卷积层、第一空间金字塔池化层、第二空间金字塔池化层和第三空间金字塔池化层；所述第一卷积层的输入与所述通道注意力机制模块的输出连接，所述第一卷积层的输出分别与所述第一空间金字塔池化层、所述第二空间金字塔池化层和所述第三空间金字塔池化层连接；
所述标定参数回归模块，包括：液态时间常数网络；所述液态时间常数网络的输入与所述空间金字塔池化模块的输出连接；所述液态时间常数网络的输出与所述预测输出模块的输入连接；
所述相机-3D激光雷达外参在线标定深度学习模型是采用训练集和验证集对参数未定的深度学习模型进行训练得到的；
其中，训练过程，具体包括：
对于当前的epoch，将训练集输入深度学习模型中进行训练，得到当前epoch的深度学习模型；所述训练集包括RGB训练图像和激光雷达点云深度训练图；
将验证集输入所述当前epoch的深度学习模型，根据标定参数参考值和所述当前epoch的深度学习模型输出的标定参数预测值，计算损失函数输出的损失值是否处于设定范围内；所述验证集包括RGB验证图像和激光雷达点云深度验证图；所述损失值包括预测变换损失和点云距离变换损失；
若是，则保存所述当前epoch的深度学习模型的参数，继续训练下一个epoch；
当所有的epochs都训练结束，在保证训练时的损失值和验证时的损失值均未出现过拟合和欠拟合的情况下，从保存的所有参数中，选择损失值最小的参数作为模型的最优参数；所述最优参数对应的深度学习模型为所述相机-3D激光雷达外参在线标定深度学习模型。
2.根据权利要求1所述的一种基于深度学习的多传感器外参联合标定方法，其特征在于，所述预测输出模块，包括：第一全连接层、第二全连接层和第三全连接层；所述第一全连接层的输入与所述标定参数回归模块的输出连接；所述第一全连接层的输出分别与所述第二全连接层和所述第三全连接层连接。
3.根据权利要求1所述的一种基于深度学习的多传感器外参联合标定方法，其特征在于，所述特征提取模块，包括：图像特征提取子模块和点云深度图特征提取子模块；所述图像特征提取子模块和所述点云深度图特征提取子模块均采用resnet-18网络，所述点云深度图特征提取子模块中的各层卷积核的数量均为所述图像特征提取子模块中相应层卷积核数量的一半；所述图像特征提取子模块用于从所述RGB图像中提取特征；所述点云深度图特征提取子模块用于从所述激光雷达点云深度图中提取特征。
4.根据权利要求1所述的一种基于深度学习的多传感器外参联合标定方法，其特征在于，所述损失函数为：
Ltotal＝aLt+bLp；
其中，
Lt＝||Rpre-Rgt||+||tpre-tgt||2；
Ltotal表示损失值，Lt表示预测变换损失，Lp表示点云距离损失，a表示预测变换损失的平衡因子，b表示预测变换损失的平衡因子，Tpre表示深度学习模型输出的标定参数预测值，Rpre表示深度学习模型输出的旋转参数预测值，tpre表示深度学习模型输出的平移参数预测值，Tgt为标定参数参考值，Rgt表示旋转参数参考值，tgt表示平移参数参考值，N表示参与损失函数计算的点云数目，Tinit表示初始训练标定参数，Pi表示激光雷达训练点云中的第i个点云。
5.根据权利要求1所述的一种基于深度学习的多传感器外参联合标定方法，其特征在于，所述液态时间常数网络的隐藏状态时间导数为：
其中，S(t)＝f(h(t),x(t),t,θ)(A-h(t))，τ表示时间常数，S(t)表示由第一神经网络参数θ和第二神经网络参数A决定的神经网络，f(h(t),x(t),t,θ)表示由第一神经网络参数θ决定的神经网络，x(t)表示f(h(t),x(t),t,θ)在t时刻的输入数据，h(t)表示f(h(t),x(t),t,θ)在t时刻的输出隐藏状态。
6.一种基于深度学习的多传感器外参联合标定系统，其特征在于，包括：
参数标定模型构建单元，用于建立相机-3D激光雷达外参在线标定深度学习模型；所述相机-3D激光雷达外参在线标定深度学习模型用于实现相机和3D激光雷达之间的外参标定；
其中，所述相机-3D激光雷达外参在线标定深度学习模型，具体包括：依次连接的特征提取模块、通道注意力机制模块、空间金字塔池化模块、标定参数回归模块和预测输出模块；所述特征提取模块用于对RGB图像和激光雷达点云深度图进行特征提取；所述通道注意力机制模块用于采用通道注意力机制对所述特征提取模块输出的特征进行自适应加权；所述空间金字塔池化模块用于从加权后的特征中挖掘不同尺寸特征并采用固定长度输出特征，以避免模型迁移所需的数据裁剪；所述标定参数回归模块用于对所述空间金字塔池化模块输出的特征进行标定参数的回归，以挖掘所述RGB图像和所述激光雷达点云深度图之间的匹配映射关系；所述预测输出模块用于根据所述匹配映射关系输出标定参数预测值；
所述通道注意力机制模块，包括：图像通道注意力机制子模块和点云深度图通道注意力机制子模块；所述图像通道注意力机制子模块和所述点云深度图通道注意力机制子模块均包括依次连接的全局平均池化层、第二卷积层和第三卷积层；所述图像通道注意力机制子模块的输入为所述特征提取模块从所述RGB图像中提取的特征；所述点云深度图通道注意力机制子模块的输入为所述特征提取模块从所述激光雷达点云深度图中提取的特征；
所述空间金字塔池化模块，包括：第一卷积层、第一空间金字塔池化层、第二空间金字塔池化层和第三空间金字塔池化层；所述第一卷积层的输入与所述通道注意力机制模块的输出连接，所述第一卷积层的输出分别与所述第一空间金字塔池化层、所述第二空间金字塔池化层和所述第三空间金字塔池化层连接；
所述标定参数回归模块，包括：液态时间常数网络；所述液态时间常数网络的输入与所述空间金字塔池化模块的输出连接；所述液态时间常数网络的输出与所述预测输出模块的输入连接；
所述相机-3D激光雷达外参在线标定深度学习模型是采用训练集和验证集对参数未定的深度学习模型进行训练得到的；
其中，训练过程，具体包括：
对于当前的epoch，将训练集输入深度学习模型中进行训练，得到当前epoch的深度学习模型；所述训练集包括RGB训练图像和激光雷达点云深度训练图；
将验证集输入所述当前epoch的深度学习模型，根据标定参数参考值和所述当前epoch的深度学习模型输出的标定参数预测值，计算损失函数输出的损失值是否处于设定范围内；所述验证集包括RGB验证图像和激光雷达点云深度验证图；所述损失值包括预测变换损失和点云距离变换损失；
若是，则保存所述当前epoch的深度学习模型的参数，继续训练下一个epoch；
当所有的epochs都训练结束，在保证训练时的损失值和验证时的损失值均未出现过拟合和欠拟合的情况下，从保存的所有参数中，选择损失值最小的参数作为模型的最优参数；所述最优参数对应的深度学习模型为所述相机-3D激光雷达外参在线标定深度学习模型。
CN202111386454.3A 2021-11-22 2021-11-22 一种基于深度学习的多传感器外参联合标定方法及系统 Active CN114119770B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111386454.3A CN114119770B (zh) 2021-11-22 2021-11-22 一种基于深度学习的多传感器外参联合标定方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111386454.3A CN114119770B (zh) 2021-11-22 2021-11-22 一种基于深度学习的多传感器外参联合标定方法及系统

Publications (2)

Publication Number Publication Date
CN114119770A CN114119770A (zh) 2022-03-01
CN114119770B true CN114119770B (zh) 2024-05-28

Family

ID=80439102

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111386454.3A Active CN114119770B (zh) 2021-11-22 2021-11-22 一种基于深度学习的多传感器外参联合标定方法及系统

Country Status (1)

Country Link
CN (1) CN114119770B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114708333B (zh) * 2022-03-08 2024-05-31 智道网联科技(北京)有限公司 自动标定相机外参模型的生成方法及装置
CN115035296A (zh) * 2022-06-15 2022-09-09 清华大学 一种基于鸟瞰投影的飞行汽车3d语义分割方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111142091A (zh) * 2020-01-10 2020-05-12 清华大学 一种融合车载信息的自动驾驶系统激光雷达在线标定方法
CN111797717A (zh) * 2020-06-17 2020-10-20 电子科技大学 一种高速高精度的sar图像船只检测方法
CN113160330A (zh) * 2021-04-16 2021-07-23 上海交通大学 基于端到端的相机与激光雷达标定方法、系统及介质
CN113327296A (zh) * 2021-06-28 2021-08-31 浙江大学 基于深度加权的激光雷达与相机在线联合标定方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111142091A (zh) * 2020-01-10 2020-05-12 清华大学 一种融合车载信息的自动驾驶系统激光雷达在线标定方法
CN111797717A (zh) * 2020-06-17 2020-10-20 电子科技大学 一种高速高精度的sar图像船只检测方法
CN113160330A (zh) * 2021-04-16 2021-07-23 上海交通大学 基于端到端的相机与激光雷达标定方法、系统及介质
CN113327296A (zh) * 2021-06-28 2021-08-31 浙江大学 基于深度加权的激光雷达与相机在线联合标定方法

Also Published As

Publication number Publication date
CN114119770A (zh) 2022-03-01

Similar Documents

Publication Publication Date Title
Rosinol et al. Nerf-slam: Real-time dense monocular slam with neural radiance fields
CN107862293B (zh) 基于对抗生成网络的雷达生成彩色语义图像系统及方法
Schneider et al. RegNet: Multimodal sensor registration using deep neural networks
US10885659B2 (en) Object pose estimating method and apparatus
CN114119770B (zh) 一种基于深度学习的多传感器外参联合标定方法及系统
CN107679477B (zh) 基于空洞卷积神经网络的人脸深度和表面法向量预测方法
CN107450593B (zh) 一种无人机自主导航方法和系统
Shi et al. Calibrcnn: Calibrating camera and lidar by recurrent convolutional neural network and geometric constraints
CN109448061A (zh) 一种无需摄像机标定的水下双目视觉定位方法
CN110009674A (zh) 基于无监督深度学习的单目图像景深实时计算方法
Zhong et al. Shine-mapping: Large-scale 3d mapping using sparse hierarchical implicit neural representations
CN112802078A (zh) 深度图生成方法和装置
CN111508013B (zh) 立体匹配方法
CN108171249B (zh) 一种基于rgbd数据的局部描述子学习方法
Yang et al. Reactive obstacle avoidance of monocular quadrotors with online adapted depth prediction network
CN110443874B (zh) 基于卷积神经网络的视点数据生成方法和装置
Jin et al. Neu-nbv: Next best view planning using uncertainty estimation in image-based neural rendering
CN117214904A (zh) 一种基于多传感器数据的鱼类智能识别监测方法和系统
CN110428461B (zh) 结合深度学习的单目slam方法及装置
CN114758152A (zh) 一种基于注意力机制和邻域一致性的特征匹配方法
Zhu et al. Calibdepth: Unifying depth map representation for iterative lidar-camera online calibration
Zhang et al. Improved feature point extraction method of ORB-SLAM2 dense map
Zhang et al. Enhanced low-resolution lidar-camera calibration via depth interpolation and supervised contrastive learning
Pinard et al. Does it work outside this benchmark? Introducing the rigid depth constructor tool: Depth validation dataset construction in rigid scenes for the masses
CN114897955A (zh) 一种基于可微几何传播的深度补全方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant