CN115082562A - 一种外参标定方法、装置、设备、服务器及车载计算设备 - Google Patents

一种外参标定方法、装置、设备、服务器及车载计算设备 Download PDF

Info

Publication number
CN115082562A
CN115082562A CN202110274262.7A CN202110274262A CN115082562A CN 115082562 A CN115082562 A CN 115082562A CN 202110274262 A CN202110274262 A CN 202110274262A CN 115082562 A CN115082562 A CN 115082562A
Authority
CN
China
Prior art keywords
conversion matrix
data
point cloud
current
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110274262.7A
Other languages
English (en)
Inventor
陈敬恒
李亚敏
刘新春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202110274262.7A priority Critical patent/CN115082562A/zh
Priority to PCT/CN2022/080777 priority patent/WO2022194110A1/zh
Publication of CN115082562A publication Critical patent/CN115082562A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G01S19/47—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)

Abstract

本申请公开了一种外参标定方法、装置、设备、服务器及车载计算设备。该方法包括：获取点云数据和位姿数据；根据点云数据、位姿数据、第一特征信息和当前的第一转换矩阵构造目标函数，其中，第一特征信息为基于第一神经网络模型对点云数据进行特征提取得到的，第一转换矩阵为从点云数据对应的第一坐标到位姿数据对应的第二坐标的转换矩阵；根据目标函数，对第一转换矩阵进行更新。在本申请中，利用深度神经网络提取到的特征信息，构造目标函数用于对第一转换矩阵进行更新，有助于提升外参标定的精度，进而提高系统建图、定位、导航等功能的精度。

Description

一种外参标定方法、装置、设备、服务器及车载计算设备
技术领域
本申请涉及标定技术领域，尤其涉及一种外参标定方法、装置、设备、服务器及车载计算设备。
背景技术
当前，雷达(下面简称Lidar)、全球导航卫星系统(global navigation satellitesystem，GNSS)和惯性测量单元(inertial measurement unit，IMU)三者已经被广泛运用于自动驾驶技术中。自动驾驶车辆的高精度建图、定位、感知和导航等，均依赖于此三者的融合使用。此三者融合使用，将能较好地减少后游工作量以及提高最终结果的精度。
当前，高精度的导航惯性测量单元(GNSS-IMU)系统已经很好地将GNSS信息与IMU信息进行融合输出。Lidar与GNSS-IMU系统的融合使用，还严重依赖于Lidar与GNSS-IMU系统的外参标定。Lidar与GNSS-IMU系统的外参标定工作，即为求解Lidar系统与GNSS-IMU系统的精确三维转换关系，以将Lidar系统得到的数据转换到GNSS-IMU系统坐标系中(或将GNSS-IMU系统的数据转换到Lidar系统坐标中)，最终能将两种数据进行融合输出，为后续工作提供较为准确的融合数据。
因此，精确的为Lidar与GNSS-IMU系统进行外参标定，可以有效减少后续的融合优化求解工作，提高各项工作的精度及速度；相反，若外参标定较为粗糙，则后续工作中，还需要进一步优化数据，增大了工作量。
发明内容
本申请实施例提供一种外参标定方法、装置及设备，用以实现较为精准的外参标定，从而提高系统精度。
第一方面，本申请实施例提供一种外参标定方法，包括：获取第一数据，所述第一数据包括点云数据和位姿数据；根据所述第一数据、第一特征信息和当前的第一转换矩阵构造目标函数，所述第一特征信息为基于第一神经网络模型对所述点云数据进行特征提取得到的，所述第一转换矩阵为从所述点云数据对应的第一坐标到所述位姿数据对应的第二坐标的转换矩阵；根据所述目标函数，对所述第一转换矩阵进行更新。
在传统的外参标定中，目标函数的构建，只采用了简单的点到点的欧式空间距离，而点云数据具有分布不均匀、稀疏等特点，欧式距离不利于体现两点云间的差距，标定精度不高。而本申请实施例中，利用深度神经网络提取到的特征信息，构造目标函数，有助于提升外参标定的精度，进而提高系统建图、定位、导航等功能的精度。此外，传统的外参标定过程中，即使也提取了特征点，但仅随机降采样提取关键点，但没有利于其特征信息，如语义信息等；而本申请实施例中综合考虑了提取到的特征信息，更加有利于提高外参标定的精度。
在一种可能的实现方式中，所述根据所述第一数据、第一特征信息和当前的第一转换矩阵构造目标函数，根据所述目标函数，对所述第一转换矩阵进行更新，包括：根据所述第一数据、第一特征信息和当前的第一转换矩阵构造目标函数；根据所述目标函数，对所述当前的第一转换矩阵进行更新；检测更新后的所述第一转换矩阵的精度和/或执行对所述当前的第一转换矩阵进行更新的次数是否满足所述预设条件，若满足，则将更新得到的第一转换矩阵作为目标转换矩阵；若不满足，则用更新得到的第一转换矩阵替换所述当前的第一转换矩阵，返回继续执行根据所述第一数据、第一特征信息和当前的第一转换矩阵构造目标函数的处理。重复执行上述更新第一转换矩阵的操作，有助于提高第一转换矩阵的精度。
在一种可能的实现方式中，在根据所述第一数据、第一特征信息和当前的第一转换矩阵构造目标函数之前，上述方法还包括：根据所述位姿数据和当前的第一转换矩阵对所述点云数据进行运动补偿，将每帧扫描到的点的坐标修正至同一时刻下的坐标。进行运动补偿，有助于解决点云数据的畸变问题，有助于进一步提高标定精度。
在一种可能的实现方式中，所述根据所述第一数据、第一特征信息和当前的第一转换矩阵构造目标函数，包括：基于所述第一神经网络模型对运动补偿后的点云数据进行特征提取，得到第二特征信息；根据所述第一数据、所述第二特征信息和当前的第一转换矩阵构造目标函数。在运动补偿后的点云数据进行特征提取，有利于提高提取到的特征信息的准确度，进而提高标定的精度。
在一种可能的实现方式中，所述根据所述位姿数据和当前的第一转换矩阵对所述点云数据进行运动补偿，包括：针对目标帧扫描确定目标时刻，所述目标帧为获取的点云数据中的任意一帧；根据所述目标时刻的位姿数据和当前的第一转换矩阵确定所述目标时刻对应的第二转换矩阵，所述第二转换矩阵为从所述第一坐标到第三坐标的转换矩阵；针对所述目标帧中第一时刻扫描到的点，根据所述第一时刻的位姿数据和当前的第一转换矩阵确定所述第一时刻对应的第二转换矩阵；根据所述目标时刻对应的第二转换矩阵和所述第一时刻对应的第二转换矩阵，将所述第一时刻扫描到的目标点的坐标修正至目标时刻对应的所述目标点的坐标。
在一种可能的实现方式中，所述根据所述目标时刻的位姿数据和当前的第一转换矩阵确定所述目标时刻对应的第二转换矩阵，包括：根据所述目标时刻的位姿数据确定所述目标时刻对应的第三转换矩阵，所述第三转换矩阵为从所述第二坐标到第三坐标的转换矩阵；根据当前的第一转换矩阵和所述目标时刻对应的第三转换矩阵，确定所述目标时刻对应的第二转换矩阵，所述第二矩阵为从所述第一坐标到第三坐标的转换矩阵；所述根据所述第一时刻的位姿数据和当前的第一转换矩阵确定所述第一时刻对应的第二转换矩阵，包括：根据第一时刻的位姿数据确定第一时刻对应的第三转换矩阵；根据所述当前的第一转换矩阵和所述第一时刻对应的第三转换矩阵，确定第一时刻对应的第二转换矩阵。
在一种可能的实现方式中，所述根据所述第一数据、第一特征信息和当前的第一转换矩阵构造目标函数，包括：对所述点云数据进行运动补偿；基于所述第一神经网络对运动补偿后的点云数据提取第二特征信息；根据所述位姿数据和当前的第一转换矩阵，将运动补偿后的点云数据转换至第三坐标；根据转换至第三坐标后的点云数据和所述第二特征信息构造目标函数。基于经过运动补偿后的点云数据和特征信息构造目标函数，更加有利于提高外参标定的精度。
在一种可能的实现方式中，所述根据转换至第三坐标后的点云数据和所述第二特征信息构造目标函数，包括：根据如下公式构造目标函数：
Figure BDA0002975916080000031
其中，loss表示目标函数，N表示所述点云数据中所有点的数量或者基于所述第一神经网络模型提取到的特征点的数量，pi表示第i个点，Pi_knn表示第i个点的k个最近邻点，Dist表示距离函数，所述距离函数包括点到点的距离函数、点到线的距离函数或者点到面的距离函数。
在一种可能的实现方式中，所述点到点的距离函数为如下所示：
Figure BDA0002975916080000032
Figure BDA0002975916080000033
其中，D(pi,pj)表示点到点的距离函数，pi和pj分别表示两个不同的点，e表示自然数，fi和fj分别表示pi和pj经深度神经网络提取到的特征，所述特征包括K维，且
Figure BDA0002975916080000034
Figure BDA0002975916080000035
H(fi,fj)表示特征(fi,fj)之间的距离，d(pi,pj)表示pi和pj之间的欧式距离。传统的点到点的距离函数通常采用欧式距离，而本申请提出了一种新的点到点距离函数，有助于进一步提高标定精度。
在一种可能的实现方式中，所述根据所述位姿数据和当前的第一转换矩阵，将运动补偿后的点云数据转换至第三坐标，包括：针对目标帧经过运动补偿后修正至目标时刻的点云数据，根据所述目标时刻的位姿数据确定目标时刻对应的第三转换矩阵，所述第三转换矩阵为从所述第二坐标到第三坐标的转换矩阵，所述目标帧为获取的点云数据中的任意一帧；根据所述目标时刻对应的第三转换矩阵和所述当前的第一转换矩阵，确定目标时刻对应的第二转换矩阵，所述第二转换矩阵为从所述第一坐标到第三坐标的转换矩阵；根据所述第三转换矩阵，将所述目标帧中每个点的坐标转换至第三坐标。
在一种可能的实现方式中，所述方法还包括：利用非线性优化求解器对所述目标函数进行优化。对目标函数进行优化，也有助于提高标定精度。
在一种可能的实现方式中，所述非线性优化求解器包括列文伯格-马夸尔特算法。
在一种可能的实现方式中，在获取第一数据之后，上述方法还包括：根据所述点云数据和所述位姿数据，利用建图算法和手眼标定算法，确定当前已存在的第一转换矩阵。本申请实施例还提供一种粗标定方法，可以在采用上述精度较高的标定方法之前，以进一步提高标定的精度。
在一种可能的实现方式中，所述根据所述点云数据和所述位姿数据，利用建图算法和手眼标定算法，确定当前已存在的第一转换矩阵，包括：根据所述位姿数据和初始转换矩阵对所述点云数据进行运动补偿，将每帧扫描到的点的坐标修正至同一时刻下的坐标，所述初始转换矩阵为预设的初始第一转换矩阵；基于深度神经网络对所述经过运动补偿后的点云数据提取特征信息；根据所述经过运动补偿后的点云数据、所述特征信息，利用建图算法确定每帧点云的中心点的相对位姿；根据所述位姿数据和所述相对位姿，利用手眼标定算法确定当前已存在的第一转换矩阵。
在一种可能的实现方式中，所述建图算法为SC-LeGO-LOAM建图算法。
在一种可能的实现方式中，所述位姿数据包括精度、纬度和姿态角。
第二方面，本申请实施例提供一种外参标定装置，所述装置包括执行上述第一方面以及第一方面的任意一种可能的设计的方法的模块/单元；这些模块/单元可以通过硬件实现，也可以通过硬件执行相应的软件实现。
示例性的，可以包括获取模块，用于获取第一数据，所述第一数据包括点云数据和位姿数据；处理模块，用于根据所述第一数据、第一特征信息和当前的第一转换矩阵构造目标函数，所述第一特征信息为基于第一神经网络模型对所述点云数据进行特征提取得到的，所述第一转换矩阵为从所述点云数据对应的第一坐标到所述位姿数据对应的第二坐标的转换矩阵；根据所述目标函数，对所述第一转换矩阵进行更新。
第三方面，本申请实施例提供一种服务器，所述服务器包括处理器，所述处理器用于执行如上述第一方面及任一种可能的实现方式所述的外参标定方法。
第四方面，本申请实施例提供一种车载计算设备，所述车载计算设备包括处理器，所述处理器用于执行如上述第一方面及任一种可能的实现方式所述的外参标定方法。
第五方面，本申请实施例提供一种外参标定系统，包括如第四方面所述的服务器和第五方面所述的车载计算设备。
在一种可能的实现方式中，所述服务器执行如上述第一方面及任一种可能的实现方式所述的外参标定方法。
在另一种可能的实现方式中，所述车载计算设备执行如上述第一方面及任一种可能的实现方式所述的外参标定方法。
在另一种可能的实现方式中，所述服务器和所述车载计算设备联合执行如上述第一方面及任一种可能的实现方式所述的外参标定方法。
第六方面，本申请实施例提供了一种芯片系统，该芯片系统包括处理器，还可以包括存储器，用于实现上述第一方面及任一种可能的实现方式所述的外参标定方法。该芯片系统可以由芯片构成，也可以包含芯片和其他分立器件。
第七方面，本申请实施例中提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可读指令，当所述计算机可读指令在计算机上运行时，使得如第一方面任一种可能的实现方式所述的方法被执行。
第八方面，本申请实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得如第一方面及任一种可能的实现方式所述的外参标定方法被执行。
附图说明
图1为本申请实施例提供的应用场景示意图；
图2为本申请实施例提供的传统的外参标定流程示意图之一；
图3为本申请实施例提供的传统的外参标定流程示意图之二；
图4为本申请实施例提供的外参标定方法的流程示意图之一；
图5为本申请实施例提供的数据获取的示意图；
图6为本申请实施例提供的构建目标函数的流程示意图；
图7为本申请实施例提供的粗标定的流程示意图；
图8为本申请实施例提供的外参标定方法的流程示意图之二；
图9为本申请实施例提供的外参标定装置的结构示意图；
图10为本申请实施例提供的外参标定设备的结构示意图。
具体实施方式
本申请实施例提出的外参标定方案可以应用于多种领域，示例性地，可以但不限于应用于车载雷达、无人机雷达等领域。
图1示例性的提供了一种本申请实施例的应用场景示意图。该场景中，雷达传感器、GNSS-IMU的传感器可以被安装在车辆上，传感器可应用于高级驾驶辅助系统(advanceddriving assistant system，ADAS)(例如自动驾驶)、机器人、无人机、网联车、安防监控等领域。图1以将雷达传感器部署于车辆前端为例，部署于车辆前端的雷达传感器可感知如实线框所示的扇形区域，该扇形区域可以为雷达感知区域，当雷达传感器感知到雷达感知区域中存在目标对象时，将雷达信号信息传输至处理模块，由处理模块进行进一步处理。GNSS-IMU的传感器也可以将采集到的数据传输至处理模块。处理模块在接收到雷达传感器、GNSS-IMU传感器的信息后，输出目标对象的测量信息(例如，目标对象与车辆的相对距离、角度、相对速度、位姿等)。需要说明的是，此处中的处理模块既可以是独立于雷达传感器的计算机或计算机中的软件模块，例如，车载计算机系统中的处理模块，还可以是部署于雷达传感器或GNSS-IMU的传感器中的计算机或计算机中的软件模块，此处不作限定。
雷达传感器基于不同的测量范围可以分为长距雷达(long range radar，LRR)、中距雷达(middle range radar，MRR)和短距雷达(short range radar，SRR)。
其中，LRR具有测距与防碰撞功能，广泛应用于自适应巡航控制(adaptive cruisecontrol，ACC)、前向碰撞警告(forward collision warning，FCW)、自动紧急刹车(automatic emergency brake，AEB)等领域。LRR的ACC、FCW、AEB等功能在驾驶者分神、疲劳犯困或者使用手机等未能注意到前方状况时具有显著的安全提示效果。
MRR和SRR具有盲点检测(blind spot detection，BSD)、车道变换辅助(lanechange assistance，LCA)、后向目标横穿警告(rear cross traffic alert，RCTA)、开门辅助(exit assistant function，EAF)、前向目标横穿警告(forward cross traffic alert，FCTA)等功能，能精确探测车辆前后左右一定范围内的目标。而作为ADAS系统中的典型应用，SRR在BSD、LCA等领域可以有效降低驾驶员在夜晚、雾天、大雨等气候恶劣条件下观察不便导致的危险系数，以及避免驾驶员在并道操作过程中，相邻车道和“视野”盲区可能碰撞的险境。
不同的应用场景对雷达的检测距离有不同的需求，LRR、MRR和SRR均在ADAS中承担重要的功能。
可见，将上述雷达传感器、GNSS-IMU的传感器安装在车身上，可以实时或周期性地获取传感器感测到车辆的经纬度、速度、朝向、周围物体的距离等测量信息，再根据这些测量信息实现车辆的辅助驾驶或无人驾驶。例如，利用经纬度确定车辆的位置，或利用速度和朝向确定车辆在未来一段时间的行驶方向和目的，或利用周围物体的距离确定车辆周围的障碍物数量、密度等。而实现高精度的定位、障碍物识别、导航等，需要依赖于高精度的雷达系统的外参标定结果。
雷达系统中的外参标定，即，求取雷达系统与GNSS-IMU系统的三维坐标转换关系。良好的标定是多传感器融合的基础，获取精准的标定结果，才能实现高精度地图的建图、车辆定位和导航等。
而目前常见的雷达系统与GNSS-IMU系统的标定流程，可以如图2所示，包括以下步骤：①设置初始的从雷达系统坐标到GNSS-IMU系统坐标的转换矩阵(以下简称为IMU-Lidar转换矩阵)，例如设置为单位矩阵。②获取GNSS-IMU系统得到的位姿数据和雷达系统得到的点云数据。③结合当前的IMU-Lidar转换矩阵，将各帧中的点云数据转换至世界坐标系。④利用目标函数(例如knn距离和)优化IMU-Lidar转换矩阵。⑤判断当前优化是否满足停止条件，若不满足，则重复执行步骤②-⑤；若满足，输出当前的IMU-Lidar转换矩阵。其中，世界坐标即系统的绝对坐标；由于雷达(或GNSS-IMU)传感器可安放在环境中的任意位置，在环境中选择一个基准坐标系来描述雷达(或GNSS-IMU)传感器的位置，并用它描述环境中任何物体的位置，该坐标系称为世界坐标系。
另一种常见的雷达系统与GNSS-IMU系统的标定流程，可以如图3所示，包括以下步骤：①通过人工测量的方式获得粗精度的IMU-Lidar转换矩阵。②获取多帧GNSS-IMU系统得到的位姿数据和雷达系统得到的点云数据。③结合当前的IMU-Lidar转换关系，将各帧中的点云数据去除畸变，然后转换至世界坐标系。④利用目标函数优化IMU-Lidar转换矩阵。⑤判断当前优化是否满足停止条件，若不满足，则重复执行步骤②-⑤；若满足，输出当前的IMU-Lidar转换矩阵。
然而，上述外参标定流程均存在精度不够高的问题。为了进一步提高外参标定的精度，本申请实施例提供一种外参标定方法及设备，用于提高外参标定的精度，从而实现高精度地图的建图、车辆的精准定位和导航等。
参见图4，为本申请实施例提高的外参标定方法的流程示意图，如图所示，该方法可以包括以下步骤：
步骤401、获取第一数据，第一数据包括点云数据和位姿数据。
其中，点云数据可以是雷达系统扫描得到的点云数据，例如，雷达扫描一次可以得到一帧点云数据。或者，点云数据也可以是包含有点云信息的图片。
位姿数据可以是GNSS-IMU系统检测到的位姿数据。位姿表示位置和姿态，GNSS-IMU系统检测到的位姿数据可以包括经度、纬度和姿态角(如俯仰角、横滚角、航向角中的一种或多种)。在一些实施例中，位姿数据还可以包括高度。
在上述步骤中，可以获取多帧点云数据以及多个时刻GNSS-IMU系统检测到的位姿数据，以完成外参标定。
若上述外参标定方法应用于平面运动的建图、定位等系统中，例如对车辆进行精确定位的系统中，则在获取点云数据、位姿数据时，可以在一个宽阔的场地中，令车辆以20-40km/h的速度进行如图5所示的“8”字运动，例如可以令车辆行进一个或两个“8”字，在车辆行进过程中，通过设置在车辆上的雷达系统和GNSS-IMU系统采集点云数据和位姿数据。为了获取较为精确的数据，可以采用位姿偏差小于0.02的GNSS-IMU系统进行数据采集。
步骤402、根据点云数据、位姿数据、第一特征信息和当前的第一转换矩阵构造目标函数。其中，第一特征信息为基于第一神经网络模型对点云数据进行特征提取得到的。
第一神经网络模型可以为深度神经网络模型。深度神经网络是机器学习领域中的一项重要技术，基于深度神经网络，可以对点云数据进行特征提取，得到特征点云及相应的语义信息，例如，可以提取到目标物体的边界点，对应的语义信息用来表示该点为边界点，还可以提取到目标物体的中心点，则对应的语义信息用来表示该点为中心点，等等。利用高效的深度神经网络，可以较为高效、准确的进行特征提取。
第一转换矩阵，为从点云数据对应的第一坐标到位姿数据对应的第二坐标的转换矩阵，也可以理解为雷达坐标到GNSS-IMU系统坐标的转换矩阵。当前的第一转换矩阵可以是预设的初始转换矩阵，也可以是通过一定方式获取到的粗精度的第一转换矩阵。
步骤403、根据目标函数更新当前的第一转换矩阵。
在上述实施例中，基于神经网络提取到的特征信息构造目标函数，有助于实现目标函数的优化，从而有助于提高外参标定的精度。
为了进一步提高外参标定的精度，可以通过多次迭代以提高第一转换矩阵的精度。具体地，可以重复执行上述步骤402及步骤403，并在每次执行完成步骤402和步骤403后，检测是预设的停止条件是否得到满足，若已满足，则将更新后的第一转换矩阵作为目标转换矩阵，否则，则再次执行步骤402及步骤403。目标转换矩阵即为上述外参标定过程最终输出的转换矩阵。
可选的，预设的停止条件可以包括得到的第一转换矩阵的精度达到预设精度，如第一转换矩阵中的预设参数达到预设标准。或者，预设的停止条件也可以包括重复执行上述步骤402和步骤403的次数达到预设的最大次数；或者，预设的停止条件可以既包括精度达到预设精度，又包括次数达到预设的最大次数，即，若当前的第一转换矩阵精度未达到预设精度，且当前的迭代次数未达到预设的最大迭代次数，则重复执行上述步骤402和步骤403，否则结束迭代，输出更新后的第一转换矩阵。设置的停止条件有助于在满足目标转换矩阵精度需求的同时，减少不必要的计算。
在首次执行步骤402和步骤403时，当前已存在的第一转换矩阵，可以是通过一定方式获取到的粗精度的第一转换矩阵，也可以是通过赋予初始值得到的初始第一转换矩阵。
在非首次执行步骤402和步骤403时，即，在需要进行多次迭代的情况下第N(N为大于等于2的整数)次执行步骤402和步骤403时，当前的第一转换矩阵，则为上一次迭代过程(即步骤402和步骤403)得到的更新后的第一转换矩阵。
在每次迭代过程中，均基于神经网络提取特征信息，并基于提取到的特征信息构造目标函数，然后根据新构造的目标函数对第一转换矩阵进行更新、优化。采用本申请实施例提供的外参标定方法后，得到的第一转换矩阵，与传统的仅基于欧式距离构造目标函数而求得的转换矩阵相比，更加有助于提供外参标定的精度，从而更加利于系统进行建图、定位、导航等功能的精度。
为了进一步提高外参标定的精度，可以对获取到的点云数据进行运动补偿，将每帧扫描到的点的坐标修正至同一时刻下的坐标；相应的，在后续对点云数据进行特征提取时，则基于第一神经网络模型对运动补偿后的点云数据进行特征提取。
应当理解，雷达完成一次扫描是在一个时间段内发生的，例如，雷达从左向右扫描时，那么先扫描到目标物体的左边，再扫描到目标物体的右边，那么在一帧点云数据中，获取左边点云数据的时刻先于获取到右边点云数据的时刻。若目标物体处于运动状态，那么扫描完成后得到的一帧点云数据可能存在点云畸变的问题。因此，对点云数据进行运动补偿，可以解决畸变的问题，提高标定精度。
为了便于处理，可以为待进行运动补偿的目标帧配置一个目标时刻，例如可以是该次扫描的初始时刻，也可以是该次扫描的结束时刻，还可以选择扫描过程中其他时刻作为该帧的目标时刻，然后将每帧点云数据中点的坐标修正至其相应的目标时刻下的坐标。进一步的，可以对每帧点云数据采用相同的目标时刻选择方式，例如，将每次扫描的初始时刻作为每帧点云数据的目标时刻。
然后可以根据目标时刻的位姿数据和当前的第一转换矩阵确定目标时刻对应的第二转换矩阵，第二转换矩阵即为从第一坐标到第三坐标的转换矩阵，也可以理解为从雷达坐标到第三坐标的转换矩阵。再针对目标帧中第一时刻(目标帧扫描时段内除目标时刻之外的任意时刻)扫描到的点，根据第一时刻的位姿数据和当前的第一转换矩阵确定该第一时刻对应的第二转换矩阵；于是，便能够根据目标时刻对应的第二转换矩阵和第一时刻对应的第二转换矩阵，将第一时刻扫描到的目标点的坐标修正至目标时刻对应的所述目标点的坐标。其中，第三坐标系可以为世界坐标系，下面以世界坐标系为例。
在一个具体实施例中，在对目标帧点云数据进行运动补偿时，根据该帧点云数据的目标时刻的位姿数据，可以求得目标时刻(t0)对应的从第二坐标到世界坐标的转换矩阵
Figure BDA0002975916080000081
也可以理解为GNSS-IMU系统坐标到世界坐标的转换矩阵(以下简称为“第三转换矩阵”)；然后根据当前的第一转换矩阵
Figure BDA0002975916080000082
和目标时刻对应的第三转换矩阵
Figure BDA0002975916080000083
确定目标时刻对应的第二转换矩阵
Figure BDA0002975916080000084
具体可以如公式(1)所示：
Figure BDA0002975916080000085
类似的，针对该帧中第一(ti)时刻扫描到的点，根据第一时刻的位姿数据确定ti时刻对应的第三转换矩阵
Figure BDA0002975916080000086
根据当前的第一转换矩阵
Figure BDA0002975916080000087
和第一时刻对应的第三转换矩阵
Figure BDA0002975916080000088
确定第一时刻对应的第二转换矩阵
Figure BDA0002975916080000089
具体可以如公式(2)所示：
Figure BDA00029759160800000810
然后，可以根据目标时刻对应的第二转换矩阵
Figure BDA00029759160800000811
和第一时刻对应的第二转换矩阵
Figure BDA00029759160800000812
确定点云数据对应的第一坐标从第一时刻到目标时刻的转换矩阵
Figure BDA00029759160800000813
具体可以如公式(3)所示：
Figure BDA00029759160800000814
根据求得的从ti时刻到t0时刻的转换矩阵
Figure BDA00029759160800000815
便能够将ti时刻扫描到的点的坐标修正至目标时刻下的该点的坐标。
相应的，如果对点云数据进行了运动补偿，则在进行特征提取时，对运动补偿后的点云数据进行特征提取，得到第二特征信息。在上述步骤402中，则根据第一数据、第二特征信息和当前的第一转换矩阵构造目标函数。
应当理解，第二特征信息和第一特征信息的区别在于，输入至第一神经网络模型的点云数据是否经过运动补偿，其本质均是对点云数据进行特征提取得到的特征信息。在运动补偿效果不同的情况中，得到的第一特征信息和第二特征信息可能相同，也可能不同，例如，在初次进行运动补偿时，与在经过多次迭代后再次进行运动补偿时，其运动补偿的效果可能有所不同。
在一种可能的实现方式中，在根据上述步骤402进行目标函数构建时，可以采用如图6所示的目标函数构建流程，具体地：
步骤b1、根据位姿数据、当前的第一转换矩阵，将点云数据转换至第三坐标。
例如，第三坐标系为世界坐标系；可以针对每帧点云数据，根据位姿数据确定目标时刻对应的第三转换矩阵，并根据目标时刻对应的第三转换矩阵和当前的第一转换矩阵，确定该目标时刻对应的第二转换矩阵(可如前述公式(1)所示)，根据第二转换矩阵将点云数据对应的第一坐标转换为世界坐标即可。
若已对点云数据进行了运动补偿，且在运动补偿时采用了前述实施例(即根据公式(1)～(3)进行运动补偿)，则将点云数据转换至世界坐标时，可直接采用运动补偿时求得的第二转换矩阵，不必进行重复计算。
步骤b2、基于转换至第三坐标系后的点云数据和提取到的特征信息构造目标函数。
如前所述，若为对点云数据进行运动补偿，则上述步骤b2中的特征信息为第一特征信息；若对点云数据进行了运动补偿，则上述步骤b2中的特征信息为第二特征信息。
在一个具体实施例中，可以根据公式(4)构造目标函数：
Figure BDA0002975916080000091
其中，loss表示目标函数；N表示点云数据中所有点的数量或者基于第一神经网络模型提取到的特征点的数量，即，可以pi表示第i个点，Pi_knn表示第i个点的k个最近邻点。Dist表示距离函数，该距离函数可以是点到点的距离函数，或者也可以是点到线的距离函数或者点到面的距离函数等。
传统的点到点的距离函数通常采用欧式距离。而本申请实施例为了进一步提高标定精度，提出了一种新的点到点距离函数，如公式(5)、(6)所示：
Figure BDA0002975916080000092
Figure BDA0002975916080000093
其中，D(pi,pj)表示点到点的距离函数，pi和pj分别表示两个不同的点，e表示自然数，fi和fj分别表示pi和pj经深度神经网络提取到的特征，所述特征包括K维，且
Figure BDA0002975916080000094
Figure BDA0002975916080000095
H(fi,fj)表示特征(fi,fj)之间的距离(例如KL散度)，d(pi,pj)表示pi和pj之间的欧式距离。
进一步的，在步骤b2之后，还可以利用非线性优化求解器对目标函数进行优化，从而有助于进一步提高标定的精度。例如，可以采用列文伯格-马夸尔特算法(简称LM算法)对目标函数进行优化。
若该外参标定方法应用于平面运动时，在构造目标函数时，可以通过对约束条件进行优化，使得本申请实施例求得的第一转换矩阵能够适用于平面运动的3自由度数据(X、Y坐标及偏航角)中，而不是仅能够应用于空间6自由度的数据。例如，处理车载激光雷达与GNSS-IMU系统外参标定工作时，因为汽车在平面上行驶，只有3个自由度上有丰富的变化信息，其标定结果在另外3个自由度上误差较大，可能导致建图模糊，而能够适用于3自由度的数据，有助于提高建图精度。
此外，为了进一步提高外参标定精度，还可以在执行步骤402和步骤403之前，进行第一转换矩阵的粗标定，即，先进行第一转换矩阵的粗标定，然后根据步骤402和步骤403，进行第一转换矩阵的精标定。
在进行第一转换矩阵的粗标定时，可以根据点云数据和位姿数据，利用建图算法和手眼标定算法，确定第一转换矩阵，确定出的第一转换矩阵作为上述步骤402和步骤403中的“当前的第一转换矩阵”；或者，在需要对步骤402和步骤403进行重复操作时，将粗标定得到的第一转换矩阵作为首次执行上述步骤402、步骤403时的当前第一转换矩阵。具体地，可以采用如图7所示的粗标定流程：
步骤701、根据位姿数据和初始转换矩阵对点云数据进行运动补偿，将每帧点云数据中点的坐标修正至该帧的目标时刻下的坐标。
如前所述，进行运动补偿有助于解决点云畸变的问题。其中，初始转换矩阵为预设的初始第一转换矩阵，可以为单位矩阵，也可以是根据经验值设置的初始矩阵，还可以是通过其他方式得到的粗精度第一转换矩阵。
步骤702、基于第一神经网络模型对运动补偿后的点云数据进行特征提取得到特征信息。
如前所述，基于深度神经网络，可以较为高效、准确的进行特征提取，得到特征点和语义信息。
步骤703、根据运动补偿后的点云数据、提取到的特征信息，利用建图算法确定每帧点云中心点的相对位姿。
例如，可以将运动补偿后的点云数据、深度网络提取特征点及语义信息作为输入，使用SC-LeGO-LOAM建图算法，重建出点云地图，最后输出各帧点云中心点的相对位姿。
步骤704、根据各帧点云数据的中心点相对位姿以及获取到的位姿数据，利用手眼标定算法确定第一转换矩阵，即首次执行步骤402和步骤403时的当前第一转换矩阵。
为了使得相机(即机器人的眼)与其他传感器(即机器人的手)坐标系之间建立关系，需要对相机与其他传感器坐标系进行标定，该标定过程就叫做手眼标定。利用手眼标定算法的原理，求取第一转换矩阵，从而完成粗标定。
为了更加清楚理解本申请上述实施例，下面结合图8进行进行举例说明。图8示例性的提供了一种外参标定流程，具体包括：
步骤801、获取雷达扫描到的点云数据和GNSS-IMU检测到的位姿数据。
步骤802、基于初始的第一转换矩阵(如单位矩阵)对获取到的每帧点云数据进行运动补偿。
步骤803、基于深度神经网络对运动补偿后的点云数据进行特征提取。
步骤804、根据运动补偿后的点云数据和提取到的特征信息，利用建图算法重建点云地图，求取每帧点云中心点的相对位姿。
示例性的，建图算法为SC-LeGO-LOAM。
步骤805、根据各帧点云数据的中心点相对位姿以及GNSS-IMU系统获取的位姿数据，利用手眼标定算法更新第一转换矩阵。
步骤806、基于更新后的第一转换矩阵对每帧点云数据进行运动补偿。
步骤807、基于深度神经网络对运动补偿后的点云数据进行特征提取。
步骤808、根据提取到的特征信息、点云数据、位姿数据和当前的第一转换矩阵构造目标函数。
步骤809、根据目标函数更新当前的第一转换矩阵。
步骤810、判断第一转换矩阵的精度是否达到预设阈值或当前的迭代次数是否达到预设最大迭代次数；若均为否，则根据更新后的第一转换矩阵重复执行上述步骤806～步骤809；否则，结束流程，输出当前的第一转换矩阵。
其中，步骤802～步骤805是粗标定过程，步骤806～步骤809是精标定过程。
此外，在步骤806～步骤809的精标定过程中，也可以在每次迭代或一段时间内的迭代过程中，获取新的点云数据及位姿数据用于精标定。
在传统的外参标定中，目标函数的构建，只采用了简单的点到点的欧式空间距离，而点云数据具有分布不均匀、稀疏等特点，欧式距离不利于体现两点云间的差距，标定精度不高。而本申请实施例中，利用深度神经网络提取到的特征信息，构造目标函数，有助于提升外参标定的精度，进而提高系统建图、定位、导航等功能的精度。此外，传统的外参标定过程中，即使也提取了特征点，但仅随机降采样提取关键点，但没有利于其特征信息，如语义信息等；而本申请实施例中综合考虑了提取到的特征信息，更加有利于提高外参标定的精度。此外，还可以通过在构造目标函数时对约束条件进行优化，从而实现适用于3自由度的数据，有助于进一步提高对平面运动物体的建图、定位等。
基于相同的技术构思，本申请实施例还提供一种参标定装置，用于实现上述方法实施例。如图9所示，外参标定装置可以包括获取模块901和处理模块902。
具体的，获取模块901，用于获取雷达扫描的点云数据和导航惯性测量单元系统检测到的位姿数据；
处理模块902，用于根据第一数据、第一特征信息和当前的第一转换矩阵构造目标函数，第一特征信息为基于第一神经网络模型对点云数据进行特征提取得到的，第一转换矩阵为从点云数据对应的第一坐标到位姿数据对应的第二坐标的转换矩阵；根据目标函数，对第一转换矩阵进行更新。
在一种可能的实现方式中，处理模块902，在根据第一数据、第一特征信息和当前的第一转换矩阵构造目标函数，根据目标函数，对第一转换矩阵进行更新时，具体用于：重复执行下述处理，直至满足预设条件为止：根据第一数据、第一特征信息和当前的第一转换矩阵构造目标函数；根据目标函数，对当前的第一转换矩阵进行更新；检测是否满足预设条件，若满足，则将更新得到的第一转换矩阵作为目标转换矩阵；若不满足，则用更新得到的第一转换矩阵替换当前的第一转换矩阵，返回继续执行根据第一数据、第一特征信息和当前的第一转换矩阵构造目标函数的处理。
在一种可能的实现方式中，预设条件可以但不限于包括：更新得到的第一转换矩阵的精度达到预设精度，和/或，重复执行处理的次数达到预设最大次数。
在一种可能的实现方式中，处理模块902，在根据第一数据、第一特征信息和当前的第一转换矩阵构造目标函数之前，还用于：根据位姿数据和当前的第一转换矩阵对点云数据进行运动补偿，将每帧扫描到的点的坐标修正至同一时刻下的坐标。
在一种可能的实现方式中，处理模块902，在根据第一数据、第一特征信息和当前的第一转换矩阵构造目标函数时，具体用于：基于第一神经网络模型对运动补偿后的点云数据进行特征提取，得到第二特征信息；根据第一数据、第二特征信息和当前的第一转换矩阵构造目标函数。
在一种可能的实现方式中，处理模块902，在根据位姿数据和当前的第一转换矩阵对点云数据进行运动补偿时，具体用于：针对目标帧扫描确定目标时刻，目标帧为获取的点云数据中的任意一帧；根据目标时刻的位姿数据和当前的第一转换矩阵确定目标时刻对应的第二转换矩阵，第二转换矩阵为从第一坐标到第三坐标的转换矩阵；针对目标帧中第一时刻扫描到的点，根据第一时刻的位姿数据和当前的第一转换矩阵确定第一时刻对应的第二转换矩阵；根据目标时刻对应的第二转换矩阵和第一时刻对应的第二转换矩阵，将第一时刻扫描到的目标点的坐标修正至目标时刻对应的目标点的坐标。
在一种可能的实现方式中，处理模块902，在根据目标时刻的位姿数据和当前的第一转换矩阵确定目标时刻对应的第二转换矩阵时，具体用于：根据目标时刻的位姿数据确定目标时刻对应的第三转换矩阵，第三转换矩阵为从第二坐标到第三坐标的转换矩阵；根据当前的第一转换矩阵和目标时刻对应的第三转换矩阵，确定目标时刻对应的第二转换矩阵，第二矩阵为从第一坐标到第三坐标的转换矩阵；处理模块902，在根据第一时刻的位姿数据和当前的第一转换矩阵确定第一时刻对应的第二转换矩阵时，具体用于：根据第一时刻的位姿数据确定第一时刻对应的第三转换矩阵；根据当前的第一转换矩阵和第一时刻对应的第三转换矩阵，确定第一时刻对应的第二转换矩阵。
在一种可能的实现方式中，处理模块902，在根据第一数据、第一特征信息和当前的第一转换矩阵构造目标函数时，具体用于：对点云数据进行运动补偿；基于第一神经网络对运动补偿后的点云数据提取第二特征信息；根据位姿数据和当前的第一转换矩阵，将运动补偿后的点云数据转换至第三坐标；根据转换至第三坐标后的点云数据和第二特征信息构造目标函数。
在一种可能的实现方式中，确定模块，在根据转换至第三坐标后的点云数据和第二特征信息构造目标函数时，具体用于：根据上述公式(4)构造目标函数。
在一种可能的实现方式中，点到点的距离函数如上述公式(5)和公式(6)所示。
在一种可能的实现方式中，确定模块，在根据位姿数据和当前的第一转换矩阵，将运动补偿后的点云数据转换至第三坐标时，具体用于：针对目标帧经过运动补偿后修正至目标时刻的点云数据，根据目标时刻的位姿数据确定目标时刻对应的第三转换矩阵，第三转换矩阵为从第二坐标到第三坐标的转换矩阵，目标帧为获取的点云数据中的任意一帧；根据目标时刻对应的第三转换矩阵和当前的第一转换矩阵，确定目标时刻对应的第二转换矩阵，第二转换矩阵为从第一坐标到第三坐标的转换矩阵；根据第三转换矩阵，将目标帧中每个点的坐标转换至第三坐标。
在一种可能的实现方式中，处理模块902，还用于：利用非线性优化求解器对目标函数进行优化。
在一种可能的实现方式中，非线性优化求解器包括列文伯格-马夸尔特算法。
在一种可能的实现方式中，在获取模块901获取第一数据之后，处理模块902，还用于：根据点云数据和位姿数据，利用建图算法和手眼标定算法，确定第一转换矩阵。
在一种可能的实现方式中，处理模块902，在根据点云数据和位姿数据，利用建图算法和手眼标定算法，确定第一转换矩阵时，具体用于：根据位姿数据和初始转换矩阵对点云数据进行运动补偿，将每帧扫描到的点的坐标修正至同一时刻下的坐标，初始转换矩阵为预设的初始第一转换矩阵；基于深度神经网络对运动补偿后的点云数据提取特征信息；根据运动补偿后的点云数据、特征信息，利用建图算法确定每帧点云的中心点的相对位姿；根据位姿数据和相对位姿，利用手眼标定算法确定当前的第一转换矩阵。
在一种可能的实现方式中，建图算法为SC-LeGO-LOAM建图算法。
在一种可能的实现方式中，位姿数据包括经度、纬度和姿态角。
基于相同的技术构思，本申请实施例还提供一种外参标定设备，用于实现上述方法实施例。如图10所示，该外参标定设备可以包括：处理器1001，以及与所述处理器1001连接的存储器1002；所述处理器1001用于运行所述存储器1002内的指令或程序，以使所述外参标定设备执行如前任一种可能的实现方式所述的外参标定方法。
基于相同的技术构思，本申请实施例还提供一种服务器，该服务器包括处理器，该处理器用于执行如上述任一种实现方式所述的外参标定方法。
基于相同的技术构思，本申请实施例还提供一种车载计算设备，该车载计算设备包括处理器，该处理器用于执行如上述任一种实现方式所述的外参标定方法。
本申请实施例还提供一种芯片系统，该芯片系统包括处理器，还可以包括存储器，用于实现上述任一种实现方式所述的外参标定方法。该芯片系统可以由芯片构成，也可以包含芯片和其他分立器件。
进一步的，该芯片系统还可以包括通信接口，用于与其他设备进行通信。例如，该通信接口可以与雷达系统、GNSS-IMU系统连接，从而获取点云数据和位姿数据。
基于相同的技术构思，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可读指令，当所述计算机可读指令在计算机上运行时，使得如前所述任一种可能的实现方式所述的外参标定方法被执行。
本申请实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述外参标定方法的实施例。
需要理解的是，在本申请的描述中，“第一”、“第二”、“第三”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请实施例进行各种改动和变型而不脱离本申请实施例的精神和范围。这样，倘若本申请实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (29)

1.一种外参标定方法，其特征在于，包括：
获取第一数据，所述第一数据包括点云数据和位姿数据；
根据所述第一数据、第一特征信息和当前的第一转换矩阵构造目标函数，所述第一特征信息为基于第一神经网络模型对所述点云数据进行特征提取得到的，所述第一转换矩阵为从所述点云数据对应的第一坐标到所述位姿数据对应的第二坐标的转换矩阵；
根据所述目标函数，对所述第一转换矩阵进行更新。
2.如权利要求1所述的方法，其特征在于，所述根据所述第一数据、第一特征信息和当前的第一转换矩阵构造目标函数，根据所述目标函数，对所述第一转换矩阵进行更新，包括：
根据所述第一数据、第一特征信息和当前的第一转换矩阵构造目标函数；
根据所述目标函数，对所述当前的第一转换矩阵进行更新；
检测更新后的所述第一转换矩阵的精度和/或执行对所述当前的第一转换矩阵进行更新的次数是否满足所述预设条件，若满足，则将更新得到的第一转换矩阵作为目标转换矩阵；若不满足，则用更新得到的第一转换矩阵替换所述当前的第一转换矩阵，返回继续执行根据所述第一数据、第一特征信息和当前的第一转换矩阵构造目标函数的处理。
3.如权利要求1或2所述的方法，其特征在于，在根据所述第一数据、第一特征信息和当前的第一转换矩阵构造目标函数之前，还包括：
根据所述位姿数据和当前的第一转换矩阵对所述点云数据进行运动补偿，将每帧扫描到的点的坐标修正至同一时刻下的坐标。
4.如权利要求3所述的方法，其特征在于，所述根据所述第一数据、第一特征信息和当前的第一转换矩阵构造目标函数，包括：
基于所述第一神经网络模型对运动补偿后的点云数据进行特征提取，得到第二特征信息；
根据所述第一数据、所述第二特征信息和当前的第一转换矩阵构造目标函数。
5.如权利要求3或4所述的方法，其特征在于，所述根据所述位姿数据和当前的第一转换矩阵对所述点云数据进行运动补偿，包括：
针对目标帧扫描确定目标时刻，所述目标帧为获取的点云数据中的任意一帧；
根据所述目标时刻的位姿数据和当前的第一转换矩阵确定所述目标时刻对应的第二转换矩阵，所述第二转换矩阵为从所述第一坐标到第三坐标的转换矩阵；
针对所述目标帧中第一时刻扫描到的点，根据所述第一时刻的位姿数据和当前的第一转换矩阵确定所述第一时刻对应的第二转换矩阵；
根据所述目标时刻对应的第二转换矩阵和所述第一时刻对应的第二转换矩阵，将所述第一时刻扫描到的目标点的坐标修正至目标时刻对应的所述目标点的坐标。
6.如权利要求5所述的方法，其特征在于，所述根据所述目标时刻的位姿数据和当前的第一转换矩阵确定所述目标时刻对应的第二转换矩阵，包括：
根据所述目标时刻的位姿数据确定所述目标时刻对应的第三转换矩阵，所述第三转换矩阵为从所述第二坐标到第三坐标的转换矩阵；根据当前的第一转换矩阵和所述目标时刻对应的第三转换矩阵，确定所述目标时刻对应的第二转换矩阵，所述第二矩阵为从所述第一坐标到第三坐标的转换矩阵；
所述根据所述第一时刻的位姿数据和当前的第一转换矩阵确定所述第一时刻对应的第二转换矩阵，包括:
根据第一时刻的位姿数据确定第一时刻对应的第三转换矩阵；根据所述当前的第一转换矩阵和所述第一时刻对应的第三转换矩阵，确定第一时刻对应的第二转换矩阵。
7.如权利要求1或2所述的方法，其特征在于，所述根据所述第一数据、第一特征信息和当前的第一转换矩阵构造目标函数，包括：
对所述点云数据进行运动补偿；
基于所述第一神经网络对运动补偿后的点云数据提取第二特征信息；
根据所述位姿数据和当前的第一转换矩阵，将运动补偿后的点云数据转换至第三坐标；
根据转换至第三坐标后的点云数据和所述第二特征信息构造目标函数。
8.如权利要求7所述的方法，其特征在于，所述根据转换至第三坐标后的点云数据和所述第二特征信息构造目标函数，包括：
根据如下公式构造目标函数：
Figure FDA0002975916070000021
其中，loss表示目标函数，N表示所述点云数据中所有点的数量或者基于所述第一神经网络模型提取到的特征点的数量，pi表示第i个点，Pi_knn表示第i个点的k个最近邻点，Dist表示距离函数，所述距离函数包括点到点的距离函数、点到线的距离函数或者点到面的距离函数。
9.如权利要求8所述的方法，其特征在于，所述点到点的距离函数为如下所示：
Figure FDA0002975916070000022
Figure FDA0002975916070000023
其中，D(pi,pj)表示点到点的距离函数，pi和pj分别表示两个不同的点，e表示自然数，fi和fj分别表示pi和pj经深度神经网络提取到的特征，所述特征包括K维，且
Figure FDA0002975916070000024
Figure FDA0002975916070000025
H(fi,fj)表示特征(fi,fj)之间的距离，d(pi,pj)表示pi和pj之间的欧式距离。
10.如权利要求7-9任一项所述的方法，其特征在于，所述根据所述位姿数据和当前的第一转换矩阵，将运动补偿后的点云数据转换至第三坐标，包括：
针对目标帧经过运动补偿后修正至目标时刻的点云数据，根据所述目标时刻的位姿数据确定目标时刻对应的第三转换矩阵，所述第三转换矩阵为从所述第二坐标到第三坐标的转换矩阵，所述目标帧为获取的点云数据中的任意一帧；
根据所述目标时刻对应的第三转换矩阵和所述当前的第一转换矩阵，确定目标时刻对应的第二转换矩阵，所述第二转换矩阵为从所述第一坐标到第三坐标的转换矩阵；
根据所述第三转换矩阵，将所述目标帧中每个点的坐标转换至第三坐标。
11.如权利要求1-10任一项所述的方法，其特征在于，在获取第一数据之后，还包括：
根据所述点云数据和所述位姿数据，利用建图算法和手眼标定算法，确定第一转换矩阵。
12.如权利要求11所述的方法，其特征在于，所述根据所述点云数据和所述位姿数据，利用建图算法和手眼标定算法，确定第一转换矩阵，包括：
根据所述位姿数据和初始转换矩阵对所述点云数据进行运动补偿，将每帧扫描到的点的坐标修正至同一时刻下的坐标，所述初始转换矩阵为预设的初始第一转换矩阵；
基于所述第一神经网络模型对所述运动补偿后的点云数据提取特征信息；
根据运动补偿后的点云数据、所述特征信息，利用建图算法确定每帧点云的中心点的相对位姿；
根据所述位姿数据和所述相对位姿，利用手眼标定算法确定当前的第一转换矩阵。
13.如权利要求1-12任一项所述的方法，其特征在于，所述位姿数据包括经度、纬度和姿态角。
14.一种外参标定装置，其特征在于，包括：
获取模块，用于获取第一数据，所述第一数据包括点云数据和位姿数据；
处理模块，用于根据所述第一数据、第一特征信息和当前的第一转换矩阵构造目标函数，所述第一特征信息为基于第一神经网络模型对所述点云数据进行特征提取得到的，所述第一转换矩阵为从所述点云数据对应的第一坐标到所述位姿数据对应的第二坐标的转换矩阵；根据所述目标函数，对所述第一转换矩阵进行更新。
15.如权利要求14所述的装置，其特征在于，所述处理模块，在根据所述第一数据、第一特征信息和当前的第一转换矩阵构造目标函数，根据所述目标函数，对所述第一转换矩阵进行更新时，具体用于：
根据所述第一数据、第一特征信息和当前的第一转换矩阵构造目标函数；
根据所述目标函数，对所述当前的第一转换矩阵进行更新；
检测更新后的所述第一转换矩阵的精度和/或执行对所述当前的第一转换矩阵进行更新的次数是否满足所述预设条件，若满足，则将更新得到的第一转换矩阵作为目标转换矩阵；若不满足，则用更新得到的第一转换矩阵替换所述当前的第一转换矩阵，返回继续执行根据所述第一数据、第一特征信息和当前的第一转换矩阵构造目标函数的处理。
16.如权利要求14或15所述的装置，其特征在于，所述处理模块，在根据所述第一数据、第一特征信息和当前的第一转换矩阵构造目标函数之前，还用于：
根据所述位姿数据和当前的第一转换矩阵对所述点云数据进行运动补偿，将每帧扫描到的点的坐标修正至同一时刻下的坐标。
17.如权利要求16所述的装置，其特征在于，所述处理模块，在根据所述第一数据、第一特征信息和当前的第一转换矩阵构造目标函数时，具体用于：
基于所述第一神经网络模型对运动补偿后的点云数据进行特征提取，得到第二特征信息；
根据所述第一数据、所述第二特征信息和当前的第一转换矩阵构造目标函数。
18.如权利要求16或17所述的装置，其特征在于，所述处理模块，在根据所述位姿数据和当前的第一转换矩阵对所述点云数据进行运动补偿时，具体用于：
针对目标帧扫描确定目标时刻，所述目标帧为获取的点云数据中的任意一帧；
根据所述目标时刻的位姿数据和当前的第一转换矩阵确定所述目标时刻对应的第二转换矩阵，所述第二转换矩阵为从所述第一坐标到第三坐标的转换矩阵；
针对所述目标帧中第一时刻扫描到的点，根据所述第一时刻的位姿数据和当前的第一转换矩阵确定所述第一时刻对应的第二转换矩阵；
根据所述目标时刻对应的第二转换矩阵和所述第一时刻对应的第二转换矩阵，将所述第一时刻扫描到的目标点的坐标修正至目标时刻对应的所述目标点的坐标。
19.如权利要求18所述的装置，其特征在于，所述处理模块，在根据所述目标时刻的位姿数据和当前的第一转换矩阵确定所述目标时刻对应的第二转换矩阵时，具体用于：
根据所述目标时刻的位姿数据确定所述目标时刻对应的第三转换矩阵，所述第三转换矩阵为从所述第二坐标到第三坐标的转换矩阵；根据当前的第一转换矩阵和所述目标时刻对应的第三转换矩阵，确定所述目标时刻对应的第二转换矩阵，所述第二矩阵为从所述第一坐标到第三坐标的转换矩阵；
所述处理模块，在根据所述第一时刻的位姿数据和当前的第一转换矩阵确定所述第一时刻对应的第二转换矩阵时，具体用于：
根据第一时刻的位姿数据确定第一时刻对应的第三转换矩阵；根据所述当前的第一转换矩阵和所述第一时刻对应的第三转换矩阵，确定第一时刻对应的第二转换矩阵。
20.如权利要求14或15所述的装置，其特征在于，所述处理模块，在根据所述第一数据、第一特征信息和当前的第一转换矩阵构造目标函数时，具体用于：
对所述点云数据进行运动补偿；
基于所述第一神经网络对运动补偿后的点云数据提取第二特征信息；
根据所述位姿数据和当前的第一转换矩阵，将运动补偿后的点云数据转换至第三坐标；
根据转换至第三坐标后的点云数据和所述第二特征信息构造目标函数。
21.如权利要求20所述的装置，其特征在于，所述确定模块，在根据转换至第三坐标后的点云数据和所述第二特征信息构造目标函数时，具体用于：
根据如下公式构造目标函数：
Figure FDA0002975916070000041
其中，loss表示目标函数，N表示所述点云数据中所有点的数量或者基于所述第一神经网络模型提取到的特征点的数量，pi表示第i个点，Pi_knn表示第i个点的k个最近邻点，Dist表示距离函数，所述距离函数包括点到点的距离函数、点到线的距离函数或者点到面的距离函数。
22.如权利要求21所述的装置，其特征在于，所述点到点的距离函数为如下所示：
Figure FDA0002975916070000042
Figure FDA0002975916070000043
其中，D(pi,pj)表示点到点的距离函数，pi和pj分别表示两个不同的点，e表示自然数，fi和fj分别表示pi和pj经深度神经网络提取到的特征，所述特征包括K维，且
Figure FDA0002975916070000044
Figure FDA0002975916070000045
H(fi,fj)表示特征(fi,fj)之间的距离，d(pi,pj)表示pi和pj之间的欧式距离。
23.如权利要求20-22任一项所述的装置，其特征在于，所述确定模块，在根据所述位姿数据和当前的第一转换矩阵，将运动补偿后的点云数据转换至第三坐标时，具体用于：
针对目标帧经过运动补偿后修正至目标时刻的点云数据，根据所述目标时刻的位姿数据确定目标时刻对应的第三转换矩阵，所述第三转换矩阵为从所述第二坐标到第三坐标的转换矩阵，所述目标帧为获取的点云数据中的任意一帧；
根据所述目标时刻对应的第三转换矩阵和所述当前的第一转换矩阵，确定目标时刻对应的第二转换矩阵，所述第二转换矩阵为从所述第一坐标到第三坐标的转换矩阵；
根据所述第三转换矩阵，将所述目标帧中每个点的坐标转换至第三坐标。
24.如权利要求14-23任一项所述的装置，其特征在于，在所述获取模块获取第一数据之后，所述处理模块，还用于：
根据所述点云数据和所述位姿数据，利用建图算法和手眼标定算法，确定第一转换矩阵。
25.如权利要求24所述的装置，其特征在于，所述处理模块，在根据所述点云数据和所述位姿数据，利用建图算法和手眼标定算法，确定第一转换矩阵时，具体用于：
根据所述位姿数据和初始转换矩阵对所述点云数据进行运动补偿，将每帧扫描到的点的坐标修正至同一时刻下的坐标，所述初始转换矩阵为预设的初始第一转换矩阵；
基于深度神经网络对所述运动补偿后的点云数据提取特征信息；
根据运动补偿后的点云数据、所述特征信息，利用建图算法确定每帧点云的中心点的相对位姿；
根据所述位姿数据和所述相对位姿，利用手眼标定算法确定当前的第一转换矩阵。
26.如权利要求14-25任一项所述的装置，其特征在于，所述位姿数据包括经度、纬度和姿态角。
27.一种服务器，其特征在于，所述服务器包括处理器，所述处理器用于执行如权利要求1-13任一项所述的外参标定方法。
28.一种车载计算设备，其特征在于，所述车载计算设备包括处理器，所述处理器用于执行如权利要求1-13任一项所述的外参标定方法。
29.一种计算机可读存储介质，其特征在于，存储有计算机可读指令，当所述计算机可读指令在计算机上运行时，使得如权利要求1-13任一项所述的方法被执行。
CN202110274262.7A 2021-03-15 2021-03-15 一种外参标定方法、装置、设备、服务器及车载计算设备 Pending CN115082562A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110274262.7A CN115082562A (zh) 2021-03-15 2021-03-15 一种外参标定方法、装置、设备、服务器及车载计算设备
PCT/CN2022/080777 WO2022194110A1 (zh) 2021-03-15 2022-03-14 一种外参标定方法、装置、设备、服务器及车载计算设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110274262.7A CN115082562A (zh) 2021-03-15 2021-03-15 一种外参标定方法、装置、设备、服务器及车载计算设备

Publications (1)

Publication Number Publication Date
CN115082562A true CN115082562A (zh) 2022-09-20

Family

ID=83241255

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110274262.7A Pending CN115082562A (zh) 2021-03-15 2021-03-15 一种外参标定方法、装置、设备、服务器及车载计算设备

Country Status (2)

Country Link
CN (1) CN115082562A (zh)
WO (1) WO2022194110A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117312473A (zh) * 2023-10-11 2023-12-29 果子(青岛)数字技术有限公司 基于云计算的大数据信息分析方法与装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11294397B2 (en) * 2017-02-24 2022-04-05 Teledyne Fur Detection, Inc. Control systems for unmanned aerial vehicles
CN109345574B (zh) * 2018-08-31 2020-10-09 西安电子科技大学 基于语义点云配准的激光雷达三维建图方法
CN111208492B (zh) * 2018-11-21 2022-04-19 长沙智能驾驶研究院有限公司 车载激光雷达外参标定方法及装置、计算机设备及存储介质
CN111369602B (zh) * 2020-02-25 2023-10-27 阿波罗智能技术(北京)有限公司 点云数据的处理方法、装置、电子设备及可读存储介质
CN112034438B (zh) * 2020-08-27 2024-04-09 江苏智能网联汽车创新中心有限公司 一种雷达标定方法、装置、电子设备及存储介质
CN112014857B (zh) * 2020-08-31 2023-04-07 上海宇航系统工程研究所 用于智能巡检的三维激光雷达定位导航方法及巡检机器人

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117312473A (zh) * 2023-10-11 2023-12-29 果子(青岛)数字技术有限公司 基于云计算的大数据信息分析方法与装置

Also Published As

Publication number Publication date
WO2022194110A1 (zh) 2022-09-22

Similar Documents

Publication Publication Date Title
CN109556615B (zh) 基于自动驾驶的多传感器融合认知的驾驶地图生成方法
EP3447528B1 (en) Automated driving system that merges heterogenous sensor data
CN108073170B (zh) 用于自主车辆的自动化协同驾驶控制
EP3644294B1 (en) Vehicle information storage method, vehicle travel control method, and vehicle information storage device
CN112650220B (zh) 一种车辆自动驾驶方法、车载控制器及系统
CN110745140B (zh) 一种基于连续图像约束位姿估计的车辆换道预警方法
CN111458700B (zh) 车辆映射和定位的方法和系统
KR20210111180A (ko) 위치 추적 방법, 장치, 컴퓨팅 기기 및 컴퓨터 판독 가능한 저장 매체
US11475678B2 (en) Lane marker detection and lane instance recognition
CN114599995A (zh) 根据静止路边对象的雷达回波估计面内速度
CN113819905B (zh) 一种基于多传感器融合的里程计方法及装置
US20220035036A1 (en) Method and apparatus for positioning movable device, and movable device
EP3525192A1 (en) Vehicle assessment method, travel route correction method, vehicle assessment device, and travel route correction device
CN112512887B (zh) 一种行驶决策选择方法以及装置
EP4180835A1 (en) Calibration of sensors in autonomous vehicle applications
CN109900490B (zh) 基于自主式和协同式传感器的车辆运动状态检测方法及系统
US20220205804A1 (en) Vehicle localisation
US20180347993A1 (en) Systems and methods for verifying road curvature map data
CN113252051A (zh) 一种地图构建方法及装置
US11709250B2 (en) Estimating three-dimensional target heading using a single snapshot
WO2022194110A1 (zh) 一种外参标定方法、装置、设备、服务器及车载计算设备
US20210179115A1 (en) Method and apparatus for monitoring a yaw sensor
US20230182774A1 (en) Autonomous driving lidar technology
EP4160269A1 (en) Systems and methods for onboard analysis of sensor data for sensor fusion
US20230126333A1 (en) Scan matching and radar pose estimator for an autonomous vehicle based on hyper-local submaps

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination