CN113436270B

CN113436270B - 传感器标定方法及装置、电子设备和存储介质

Info

Publication number: CN113436270B
Application number: CN202110678783.9A
Authority: CN
Inventors: 刘余钱; 申抒含; 王宝宇
Original assignee: Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Current assignee: Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Priority date: 2021-06-18
Filing date: 2021-06-18
Publication date: 2023-04-25
Anticipated expiration: 2041-06-18
Also published as: CN113436270A; WO2022262160A1

Abstract

本公开涉及一种传感器标定方法及装置、电子设备和存储介质，所述方法包括：通过图像传感器及雷达传感器，采集目标场景的多个场景图像及多个第一点云；根据多个场景图像，构建目标场景在全局坐标系下的第二点云；根据第一点云的第一特征点集与第二点云的第二特征点集，确定图像传感器与雷达传感器之间的第一距离误差；根据多个第一特征点集，确定雷达传感器的第二距离误差；根据第二特征点集在全局坐标系下的第一全局位置，以及与第二特征点集对应的像素点在场景图像中的第一图像位置，确定图像传感器的重投影误差；根据第一距离误差、第二距离误差及重投影误差，对雷达传感器和图像传感器进行标定。本公开实施例可实现提高传感器标定精度。

Description

传感器标定方法及装置、电子设备和存储介质

技术领域

本公开涉及计算机技术领域，尤其涉及一种传感器标定方法及装置、电子设备和存储介质。

背景技术

激光雷达和相机的融合被广泛应用于机器人视觉中的三维重建、自主导航和定位以及无人机等领域。单个传感器具有局限性，如相机易受光照、模糊外界环境影响，激光雷达数据点稀疏，而二者的融合可以弥补各自缺陷。为了融合激光雷达和相机获取的信息，进行两者之间的联合标定是必不可少的。通过标定确定两个传感器空间坐标系之间的相互转换关系，从而使不同传感器获得的信息融合到统一坐标系下。

目前激光雷达和相机间的联合标定方法大多使用一些具有空间几何特征的标定物，但由于振动、装配等问题，多传感器之间的相对位姿可能产生变化，需要经常性的进行标定，而使用标定物进行标定的方式，标定过程繁琐，标定误差较大，无法满足经常性标定的需求。

发明内容

本公开提出了一种传感器标定技术方案。

根据本公开的一方面，提供了一种传感器标定方法，包括：通过智能设备上设置的图像传感器及雷达传感器，分别采集所述智能设备所在目标场景的多个场景图像及多个第一点云；根据所述多个场景图像，构建所述目标场景在全局坐标系下的第二点云；根据所述第一点云的第一特征点集与所述第二点云的第二特征点集，确定所述图像传感器与所述雷达传感器之间的第一距离误差；根据所述多个第一特征点集，确定所述雷达传感器的第二距离误差；根据所述第二特征点集在所述全局坐标系下的第一全局位置，以及与所述第二特征点集对应的像素点在所述场景图像中的第一图像位置，确定所述图像传感器的重投影误差；根据所述第一距离误差、所述第二距离误差及所述重投影误差，对所述雷达传感器和所述图像传感器进行标定，得到所述雷达传感器的第一标定结果及所述图像传感器的第二标定结果。

在一种可能的实现方式中，所述方法还包括：对所述多个第一点云分别进行特征点提取，确定各个第一点云各自的第一特征点集；对所述第二点云进行特征点提取，确定所述第二点云的第二特征点集；其中，所述根据所述第一点云的第一特征点集与所述第二点云的第二特征点集，确定所述图像传感器与所述雷达传感器之间的第一距离误差，包括：针对任意一个第一特征点集，根据所述第一特征点集中的第一特征点与所述第二特征点集中的第二特征点之间的距离，确定出相匹配的第一特征点对，每个第一特征点对包括一个第一特征点和一个第二特征点；根据相匹配的多个第一特征点对，确定所述第一特征点集与所述第二特征点集之间的第一子误差；根据多个第一子误差，确定所述图像传感器与所述雷达传感器之间的第一距离误差。

在一种可能的实现方式中，所述对所述多个第一点云分别进行特征点提取，确定各个第一点云各自的第一特征点集，包括：针对任意一个第一点云，根据所述雷达传感器的各激光发射点的相对位置，确定所述第一点云的点云序列；根据所述第一点云的点云序列，确定出与所述第一点云中任意一个第一数据点对应的多个第一相邻点；根据所述第一数据点的坐标与所述多个第一相邻点的坐标，确定所述第一数据点对应的曲率；根据所述第一点云中多个第一数据点的曲率，确定所述第一点云中的第一特征点集。

在一种可能的实现方式中，所述根据所述第一点云中多个第一数据点的曲率，确定所述第一点云中的第一特征点集，包括：按照所述多个第一数据点的曲率，对所述多个第一数据点进行排序，得到排序结果；按照从大到小的顺序，选取所述排序结果中的n个第一数据点作为n个边缘点；和/或，按照从小到大的顺序，选取所述排序结果中的m个第一数据点作为m个平面点；其中，n和m为正整数，所述第一特征点集包括所述边缘点和/或所述平面点。

在一种可能的实现方式中，所述对所述第二点云进行特征点提取，确定所述第二点云的第二特征点集，包括：针对所述第二点云中的任意一个第二数据点，从所述第二点云中确定出与所述第二数据点对应的多个第二相邻点；根据所述第二数据点的坐标与所述多个第二相邻点的坐标，分别确定所述第二数据点与各个第二相邻点之间的距离；在所述第二数据点与各个第二相邻点之间的距离均小于第一距离阈值的情况下，将所述第二数据点确定为所述第二特征点集中的第二特征点。

在一种可能的实现方式中，所述第二特征点集包括多个第二特征点，所述方法还包括：确定所述多个第二特征点中的边缘点和/或平面点；其中，所述确定所述多个第二特征点中的边缘点和/或平面点，包括：针对任意一个第二特征点，确定与所述第二特征点对应的多个第二相邻点的协方差矩阵，并分解所述协方差矩阵，得到多维特征值；在所述多维特征值中的任意一维特征值与各维特征值之间的差异，存在超过差异阈值的情况下，确定所述第二特征点为边缘点。

在一种可能的实现方式中，所述确定所述多个第二特征点中的边缘点和/或平面点，还包括：针对任意一个第二特征点，根据与所述第二特征点对应的多个第二相邻点，拟合平面方程，并确定所述平面方程的法向量；在所述与所述第二特征点对应的多个第二相邻点，与所述法向量的乘积均处于阈值区间内的情况下，确定所述第二特征点为平面点。

在一种可能的实现方式中，针对任意一个第一特征点集，根据所述第一特征点集中的第一特征点与所述第二特征点集中的第二特征点之间的距离，确定出相匹配的第一特征点对，包括：针对任意一个第一特征点集，根据所述雷达传感器与所述图像传感器的位姿变换关系，以及所述图像传感器的相机坐标系与所述全局坐标系的坐标变换关系，确定所述第一特征点集中的第一特征点与所述第二特征点集中第二特征点之间的距离；将距离小于第二距离阈值所对应的第一特征点与第二特征点，确定为相匹配的第一特征点对。

在一种可能的实现方式中，针对任意一个第一特征点集，根据所述雷达传感器到所述图像传感器的位姿变换关系，以及所述图像传感器的相机坐标系与所述全局坐标系的坐标变换关系，确定所述第一特征点集中的第一特征点与所述第二特征点集中的第二特征点之间的距离，包括：针对任意一个第一特征点集，根据所述雷达传感器与所述图像传感器的位姿变换关系，确定所述第一特征点集中的第一特征点在所述相机坐标系下的第一位置；根据所述相机坐标系与所述全局坐标系的坐标变换关系，确定所述第二特征点集中的第二特征点在所述相机坐标系下的第二位置；根据所述第一位置与所述第二位置，确定第一特征点集中的第一特征点与所述第二特征点集中的第二特征点之间的距离。

在一种可能的实现方式中，针对任意一个第一特征点集，根据所述雷达传感器到所述图像传感器的位姿变换关系，以及所述图像传感器的相机坐标系与所述全局坐标系的坐标变换关系，确定所述第一特征点集中的第一特征点与所述第二特征点集中的第二特征点之间的距离，还包括：针对任意一个第一特征点集，根据所述雷达传感器到所述图像传感器的位姿变换关系，以及所述相机坐标系与所述全局坐标系的坐标变换关系，确定所述第一特征点集中的第一特征点在所述全局坐标系下的第二全局位置；根据所述第二全局位置与所述第二特征点集中的第二特征点的第一全局位置，确定所述第一特征点集中的第一特征点与所述第二特征点集中的第二特征点之间的距离。

在一种可能的实现方式中，所述第一特征点对包括边缘点对和/或平面点对，其中，根据相匹配的多个第一特征点对，确定所述第一特征点集与所述第二特征点集之间的第一子误差，包括：针对任意一个第一特征点对，在所述第一特征点对为边缘点对的情况下，确定所述第一特征点对中的第二特征点，到所述第一特征点对中的第一特征点所在直线的第一垂直距离；在所述第一特征点对为平面点对的情况下，确定所述第一特征点对中的第二特征点，到所述第一特征点对中的第一特征点所在平面的第二垂直距离；根据多个第一垂直距离和/或多个第二垂直距离，确定所述第一子误差。

在一种可能的实现方式中，所述根据所述多个第一特征点集，确定所述雷达传感器的第二距离误差，包括：根据第三特征点集中的第三特征点与第四特征点集中的第四特征点之间的距离，确定出相匹配的第二特征点对，其中，所述第三特征点集和所述第四特征点集为任意两个第一特征点集，每个第二特征点对包括一个第三特征点和一个第四特征点；根据相匹配的多个第二特征点对，确定所述第三特征点集与所述第四特征点集之间的第二子误差；根据多个第二子误差，确定所述雷达传感器的第二距离误差。

在一种可能的实现方式中，所述根据第三特征点集中的第三特征点与第四特征点集中的第四特征点之间的距离，确定出相匹配的第二特征点对，包括：根据所述雷达传感器在采集各个第一点云时的雷达位姿，确定所述第三特征点集中的第三特征点与第四特征点集中的第四特征点之间的距离；将距离小于第三距离阈值所对应的第三特征点和第四特征点，确定为所述相匹配的第二特征点对。

在一种可能的实现方式中，根据所述雷达传感器在采集各个第一点云时的雷达位姿，确定所述第三特征点集中的第三特征点与第四特征点集中的第四特征点之间的距离，包括：根据所述雷达传感器在采集各个第一点云时的雷达位姿，确定所述第三特征点集中的第三特征点在所述全局坐标系下的第三全局位置，以及所述第四特征点集中的第四特征点在所述全局坐标系下的第四全局位置；根据所述第三全局位置与所述第四全局位置，确定所述第三特征点集中的第三特征点与第四特征点集中的第四特征点之间的距离。

在一种可能的实现方式中，所述第二特征点对包括边缘点对和/或平面点对，所述根据相匹配的多个第二特征点对，确定所述第三特征点集与所述第四特征点集之间的第二子误差，包括：针对任意一个第二特征点对，在所述第二特征点对为边缘点对的情况下，确定所述第二特征点对中的第三特征点，到所述第二特征点对中的第四特征点所在直线的第三垂直距离；在所述第二特征点对为平面点对的情况下，确定所述第二特征点对中的第三特征点，到所述第一特征点对中的第四特征点所在平面的第四垂直距离；根据多个第三垂直距离和/或多个第四垂直距离，确定所述第二子误差。

在一种可能的实现方式中，根据所述第二特征点集在所述全局坐标系下的第一全局位置，以及与所述第二特征点集对应的像素点在所述多个场景图像中的第一图像位置，确定所述图像传感器的重投影误差，包括：针对任意一个场景图像，根据所述第二特征点集中任意一个第二特征点的第一全局位置以及所述图像传感器的相机参数，确定所述第二特征点在所述场景图像中的第二图像位置；根据多个第二特征点的第二图像位置，以及与所述多个第二特征点对应的像素点在所述场景图像中的第一图像位置，确定所述场景图像对应的重投影子误差；根据多个场景图像对应的重投影子误差，确定所述图像传感器的重投影误差。

在一种可能的实现方式中，所述图像传感器包括多个，多个图像传感器包括一个参考图像传感器和至少一个非参考图像传感器，所述多个场景图像包括：所述参考图像传感器采集的多个参考图像，以及所述非参考图像传感器采集的多个非参考图像，其中，根据所述第二特征点集在所述全局坐标系下的第一全局位置，以及在所述多个场景图像中的与所述第二特征点集对应的像素点的第一图像位置，确定所述图像传感器的重投影误差，包括：针对任一非参考图像，根据所述第二特征点集中任意一个第二特征点的第一全局位置、所述参考图像传感器的相机参数，以及所述非参考图像传感器与所述参考图像传感器之间的位姿变换关系，确定所述第二特征点在所述非参考图像中的第三图像位置；根据多个第二特征点的第三图像位置，以及与所述第二特征点对应的像素点在所述非参考图像中的第四图像位置，确定所述非参考图像对应的重投影子误差；根据多个非参考图像对应的重投影子误差，确定所述非参考图像传感器的重投影误差。

在一种可能的实现方式中，根据所述第一距离误差、所述第二距离误差及所述重投影误差，对所述雷达传感器和所述图像传感器进行标定，得到所述雷达传感器的第一标定结果及所述图像传感器的第二标定结果，包括：根据所述第一距离误差、所述第二距离误差及所述重投影误差，对所述雷达传感器的雷达位姿、所述图像传感器的相机参数以及所述第二特征点集进行优化；根据优化后的雷达位姿、优化后的相机参数以及优化后的第二特征点集，重新执行所述传感器标定方法，至所述雷达传感器的雷达位姿与所述图像传感器的相机参数分别收敛，得到所述雷达传感器的第一标定结果及所述图像传感器的第二标定结果，其中，所述第一标定结果包括收敛的雷达位姿，所述第二标定结果包括收敛的相机参数。

在一种可能的实现方式中，所述智能设备包括智能车辆、智能机器人、智能机械臂中的任意一种；所述雷达传感器包括激光雷达、毫米波雷达中的任意一种；所述图像传感器包括单目RGB相机、双目RGB相机、飞行时间TOF相机、红外相机中的至少一种；所述图像传感器的相机参数包括相机内参和相机位姿。

根据本公开的一方面，提供了一种传感器标定装置，包括：采集模块，用于通过智能设备上设置的图像传感器及雷达传感器，分别采集所述智能设备所在目标场景的多个场景图像及多个第一点云；点云构建模块，用于根据所述多个场景图像，构建所述目标场景在全局坐标系下的第二点云；第一距离误差确定模块，用于根据所述第一点云的第一特征点集与所述第二点云的第二特征点集，确定所述图像传感器与所述雷达传感器之间的第一距离误差；第二距离误差确定模块，用于根据所述多个第一特征点集，确定所述雷达传感器的第二距离误差；重投影误差确定模块，用于根据所述第二特征点集在所述全局坐标系下的第一全局位置，以及与所述第二特征点集对应的像素点在所述场景图像中的第一图像位置，确定所述图像传感器的重投影误差；标定模块，用于根据所述第一距离误差、所述第二距离误差及所述重投影误差，对所述雷达传感器和所述图像传感器进行标定，得到所述雷达传感器的第一标定结果及所述图像传感器的第二标定结果。

在一种可能的实现方式中，所述装置还包括：第一特征提取模块，对所述多个第一点云分别进行特征点提取，确定各个第一点云各自的第一特征点集；第二特征提取模块，用于对所述第二点云进行特征点提取，确定所述第二点云的第二特征点集；其中，所述第一距离误差确定模块，包括：第一匹配子模块，用于针对任意一个第一特征点集，根据所述第一特征点集中的第一特征点与所述第二特征点集中的第二特征点之间的距离，确定出相匹配的第一特征点对，每个第一特征点对包括一个第一特征点和一个第二特征点；第一子误差确定子模块，用于根据相匹配的多个第一特征点对，确定所述第一特征点集与所述第二特征点集之间的第一子误差；第一距离误差确定子模块，用于根据多个第一子误差，确定所述图像传感器与所述雷达传感器之间的第一距离误差。

在一种可能的实现方式中，所述第一特征提取模块，包括：点云序列确定子模块，用于针对任意一个第一点云，根据所述雷达传感器的各激光发射点的相对位置，确定所述第一点云的点云序列；第一相邻点确定子模块，用于根据所述第一点云的点云序列，确定出与所述第一点云中任意一个第一数据点对应的多个第一相邻点；曲率确定子模块，用于根据所述第一数据点的坐标与所述多个第一相邻点的坐标，确定所述第一数据点对应的曲率；第一特征点集确定子模块，用于根据所述第一点云中多个第一数据点的曲率，确定所述第一点云中的第一特征点集。

在一种可能的实现方式中，所述第二特征提取模块，包括：第二相邻点确定子模块，用于针对所述第二点云中的任意一个第二数据点，从所述第二点云中确定出与所述第二数据点对应的多个第二相邻点；距离确定子模块，用于根据所述第二数据点的坐标与所述多个第二相邻点的坐标，分别确定所述第二数据点与各个第二相邻点之间的距离；第二特征点集确定子模块，用于在所述第二数据点与各个第二相邻点之间的距离均小于第一距离阈值的情况下，将所述第二数据点确定为所述第二特征点集中的第二特征点。

在一种可能的实现方式中，所述第二特征点集包括多个第二特征点，所述装置还包括：特征点确定模块，用于确定所述多个第二特征点中的边缘点和/或平面点；其中，所述确定所述多个第二特征点中的边缘点和/或平面点，包括：针对任意一个第二特征点，确定与所述第二特征点对应的多个第二相邻点的协方差矩阵，并分解所述协方差矩阵，得到多维特征值；在所述多维特征值中的任意一维特征值与各维特征值之间的差异，存在超过差异阈值的情况下，确定所述第二特征点为边缘点。

在一种可能的实现方式中，所述第二距离误差确定模块，包括：第二匹配子模块，用于根据第三特征点集中的第三特征点与第四特征点集中的第四特征点之间的距离，确定出相匹配的第二特征点对，其中，所述第三特征点集和所述第四特征点集为任意两个第一特征点集，每个第二特征点对包括一个第三特征点和一个第四特征点；第二子误差确定子模块，用于根据相匹配的多个第二特征点对，确定所述第三特征点集与所述第四特征点集之间的第二子误差；第二距离误差确定子模块，用于根据多个第二子误差，确定所述雷达传感器的第二距离误差。

在一种可能的实现方式中，重投影误差确定模块，包括：图像位置确定子模块，用于针对任意一个场景图像，根据所述第二特征点集中任意一个第二特征点的第一全局位置以及所述图像传感器的相机参数，确定所述第二特征点在所述场景图像中的第二图像位置；第一重投影子误差确定子模块，用于根据多个第二特征点的第二图像位置，以及与所述多个第二特征点对应的像素点在所述场景图像中的第一图像位置，确定所述场景图像对应的重投影子误差；第一重投影误差确定子模块，用于根据多个场景图像对应的重投影子误差，确定所述图像传感器的重投影误差。

在一种可能的实现方式中，所述图像传感器包括多个，多个图像传感器包括一个参考图像传感器和至少一个非参考图像传感器，所述多个场景图像包括：所述参考图像传感器采集的多个参考图像，以及所述非参考图像传感器采集的多个非参考图像，其中，重投影误差确定模块，包括：非参考图像位置确定子模块，用于针对任一非参考图像，根据所述第二特征点集中任意一个第二特征点的第一全局位置、所述参考图像传感器的相机参数，以及所述非参考图像传感器与所述参考图像传感器之间的位姿变换关系，确定所述第二特征点在所述非参考图像中的第三图像位置；第二重投影子误差确定子模块，用于根据多个第二特征点的第三图像位置，以及与所述第二特征点对应的像素点在所述非参考图像中的第四图像位置，确定所述非参考图像对应的重投影子误差；第二重投影误差确定子模块，用于根据多个非参考图像对应的重投影子误差，确定所述非参考图像传感器的重投影误差。

在一种可能的实现方式中，标定模块，包括：优化子模块，用于根据所述第一距离误差、所述第二距离误差及所述重投影误差，对所述雷达传感器的雷达位姿、所述图像传感器的相机参数以及所述第二特征点集进行优化；标定子模块，用于根据优化后的雷达位姿、优化后的相机参数以及优化后的第二特征点集，重新执行所述传感器标定方法，至所述雷达传感器的雷达位姿与所述图像传感器的相机参数分别收敛，得到所述雷达传感器的第一标定结果及所述图像传感器的第二标定结果，其中，所述第一标定结果包括收敛的雷达位姿，所述第二标定结果包括收敛的相机参数。

根据本公开的一方面，提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行上述方法。

根据本公开的一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。

在本公开实施例中，通过图像传感器与雷达传感器之间的第一距离误差、雷达传感器的第二距离误差以及图像传感器的重投影误差，能够实现对雷达传感器与图像传感器进行自动化地标定，且综合利用第一距离误差、第二距离误差以及重投影误差，可以提供标定结果的精度，相较于相关技术中使用标定物进行标定的方式，标定过程无需借助标定物、操作简单、标定误差小且可满足经常性标定的需求。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。

图1示出根据本公开实施例的传感器标定方法的流程图。

图2示出根据本公开实施例的传感器标定方法的示意图。

图3示出根据本公开实施例的传感器标定装置的框图。

图4示出根据本公开实施例的一种电子设备的框图。

图5示出根据本公开实施例的一种电子设备的框图。

具体实施方式

以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

另外，为了更好地说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。

图1示出根据本公开实施例的传感器标定方法的流程图，所述传感器方法可以由终端设备或服务器等电子设备执行，终端设备可以为智能设备、用户设备(UserEquipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(PersonalDigital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等，其中，智能设备可包括智能车辆、智能机器人、智能机械臂中的任意一种，所述方法可以通过电子设备中的处理器调用存储器中存储的计算机可读指令的方式来实现，或者，可通过服务器执行所述方法。如图1所示，所述传感器标定方法包括：

在步骤S11中，通过智能设备上设置的图像传感器及雷达传感器，分别采集智能设备所在目标场景的多个场景图像及多个第一点云。

如上所述，智能设备可包括智能车辆、智能机器人、智能机械臂中的任意一种。图像传感器可包括单目RGB相机、双目RGB相机、飞行时间TOF(Time Of Flight)相机、红外相机中的至少一种；所述雷达传感器包括激光雷达、毫米波雷达中的任意一种，其中，激光雷达可包括单线激光雷达或多线激光雷达，图像传感器可包括一个或多个。

应理解的是，图像传感器及雷达传感器可固定设置在智能设备上，固定设置在智能设备上的图像传感器及雷达传感器之间的相对位置固定。

其中，目标场景可指用于进行标定的场景，例如，路口。目标场景中可包括具有丰富纹理和几何结构的物体，有助于基于场景图像构建点云以及点云配准(也即提取特征点并匹配特征点对)。对于目标场景的选取，本公开实施例不作限制。

应理解的是，智能设备可在目标场景中移动，例如可采用绕“8”的方式循环移动，以采集目标场景的多个场景图像及多个第一点云。其中，场景图像可是图像传感器采集的数据，第一点云可是雷达传感器采集的数据。

在采集目标场景的场景图像与第一点云的过程中，智能设备可采用间隔停止移动(如间隔停车)的方式进行采集，也即每间隔一段移动距离，停止移动，并在停止位置处触发图像传感器及雷达传感器分别采集一次场景图像与第一点云。通过该方式，可确保不同传感器在同一时刻采集数据时的空间位姿不变，也即不同传感器之间的相对位姿固定，可以提高之后计算不同传感器之间距离误差的精度。

当然，还可以是在智能设备持续移动过程中分别采集场景图像与第一点云，对此本公开实施例不作限制。

在步骤S12中，根据多个场景图像，构建目标场景在全局坐标系下的第二点云。

其中，全局坐标系可理解为针对目标场景的世界坐标系，也即，以目标场景构建的世界坐标系。应理解的是，目标场景中的物体(包括智能设备)均在在该全局坐标系中。

其中，可采用已知的三维地图构建技术，例如，即时定位与地图构建(simultaneous localization and mapping，SLAM)技术，运动结构(Structure frommotion，SFM)技术，实现根据多个场景图像构建目标场景在全局坐标系下的第二点云，对此本公开实施例不作限制。

在步骤S13中，根据第一点云的第一特征点集与第二点云的第二特征点集，确定图像传感器与雷达传感器之间的第一距离误差。

其中，第一点云的第一特征点集，可理解为第一点云中的特征点所构成的集合。第二点云的第二特征点集，可理解为第二点云中的特征点所构成的集合。

在一种可能的实现方式中，可采用神经网络实现分别提取第一点云中的特征点以及第二点云中的特征点，分别构成第一特征点集以及第二特征点集。应理解的是，对于该神经网络的网络结构、网络类型以及训练方式等，本公开实施例不作限制。

应理解的是，提取第一点云以及第二点云中的特征点，相当于，提取第一点云及第二点云中具有显著特征的数据点，这样在计算第一距离误差时，不仅可以高效地利用特征点进行点云配准，提高第一距离误差的计算精度，还可以减少计算量，提高运算效率。

如上所述，第一点云可包括多个，可提取全部或部分第一点云中的特征点，得到全部或部分第一点云的第一特征点集，第一特征点集可包括一个或多个。其中，选取部分第一点云进行特征点提取，可减少之后计算第一距离误差的运算量，提高运算效率。

在一种可能的实现方式中，根据第一点云的第一特征点集与第二点云的第二特征点集，确定图像传感器与雷达传感器之间的第一距离误差，可包括：根据第一特征点集中的第一特征点在全局坐标系下的全局位置，与第二特征点集中的第二特征点在全局坐标系下的全局位置，确定相匹配的第一特征点对，每个第一特征点对包括一个第一特征点和一个第二特征点；根据多个第一特征点对中的第一特征点与第二特征点之间的距离，确定第一距离误差。

其中，可将第一特征点集与第二特征点集中特征点之间的距离中的最小值所对应的第一特征点与第二特征点作为第一特征点对。可理解的是，可采用任何已知的距离计算方式，例如，欧式距离、余弦距离等，计算特征点之间的距离，对此本公开实施例不作限制。

其中，根据多个第一特征点对中的第一特征点与第二特征点之间的距离，确定图像传感器与雷达传感器之间的第一距离误差，可包括：根据多个第一特征点对中的第一特征点与第二特征点之间的距离，确定第一距离误差。

可理解的是，在第一特征点集为一个的情况下，可直接将上述多个第一特征点对中的第一特征点与第二特征点之间的距离的和，作为第一距离误差；在第一特征点集为多个的情况下，可针对每个第一特征点集按照上述方式确定子误差，进而将多个第一特征点集对应的子误差的和，作为第一距离误差。

在步骤S14中，根据多个第一特征点集，确定雷达传感器的第二距离误差。

如上所述，多个第一点云是雷达传感器在目标场景中不同位置处采集的点云。由于雷达传感器在不同位置处的雷达位姿可是不同的，雷达传感器在不同位置处采集的第一点云之间也可能存在误差。

可理解的是，针对目标场景中同一物体，不同位置处采集的第一点云在同一坐标下表征该同一物体的数据点应该是重合的，或者是无限接近的，基于此，不同位置处采集的第一点云之间的误差，可理解为，针对目标场景中同一物体，不同位置处采集的第一点云中表征同一物体的数据点之间的误差。

如上所述，第一点云的第一特征点集，可理解为第一点云中的特征点所构成的集合。可选取全部或部分第一点云进行特征点提取，得到第一特征点集。应理解的是，多个第一特征点集，也可理解为至少两个第一特征点集。

可知晓的是，雷达传感器所采集的第一点云是基于雷达传感器自身的雷达坐标系所构建的，也即，第一特征点的坐标是在雷达坐标系中的坐标。为便于计算第二距离误差，可基于采集各第一点云时的雷达位姿，将各第一特征点集中的第一特征点变换至全局坐标系中，也即，使多个第一特征点集在同一坐标系中，计算第二距离误差。

其中，采集各第一点时的雷达位姿可通过智能设备上安装的组合惯性导航系统、全球卫星导航系统和/或惯性导航系统等确定，对此本公开实施例不作限制。

在一种可能的实现方式中，根据多个第一特征点集，确定雷达传感器的第二距离误差，可包括：针对任意两个第一特征点集，确定该任意两个第一特征点集中相匹配的第二特征点对；根据第二特征点对中两个特征点在全局坐标系中的坐标，确定该两个特征点之间的距离；根据多个第二特征点对的距离，确定第二距离误差。

其中，任意两个第一特征点集，可是多个第一特征点集中在采集时序上相邻的两个特征点集，还可是间隔选取的两个特征点集，对此本公开实施例不作限制。

应理解的是，在第一特征点集为两个的情况下，可直接将多个第二特征点对的距离的和，确定为第二距离误差。在第一特征点集为多个的情况下，可将多个第二特征点对的距离的和，确定为子误差，进而将多个子误差的和，确定为第二距离误差。

在步骤S15中，根据第二特征点集在全局坐标系下的第一全局位置，以及与第二特征点集对应的像素点在场景图像中的第一图像位置，确定图像传感器的重投影误差。

如上所述，基于多个场景图像所构建出的第二点云是全局坐标系下的点云。第二特征点集对应的像素点，也即，第二特征点集中的第二特征点对应的像素点；其中，第二特征点对应的像素点，可理解为，与空间某物体上三维点对应的二维点。

应理解的是，第二特征点是空间中的三维点，与第二特征点对应的像素点是场景图像中的二维点。像素点在场景图像中的第一图像位置，可理解为，像素点在图像传感器的图像坐标系中的二维坐标。

理论上，第二特征点集中的第二特征点，通过图像传感器的相机参数投影到场景图像中的投影点，应该与该第二特征点对应的像素点重合，由于计算投影点的相机参数与图像传感器实际的相机参数可能存在误差，以及通过场景图像构建出的第二点云与目标场景中实际物体位置也可能存在误差，由此使得投影点与像素点之间可能存在误差，也即投影点与像素点的位置不重合。

其中，相机参数可包括相机内参和相机位姿(即相机外参)，计算投影点的相机参数可例如是历史标定的相机参数，该历史标定的相机参数可能与实际的相机参数存在误差，由此，通过本公开实施例的传感器标定方法，可对图像传感器进行标定，也即标定图像传感器的相机参数，使标定的相机参数接近实际的相机参数。

在一种可能的实现方式中，根据第二特征点集在全局坐标系下的第一全局位置，以及与第二特征点集对应的像素点在场景图像中的第一图像位置，确定图像传感器的重投影误差，可包括：根据第二特征点集中的第二特征点的第一全局位置，以及图像传感器的相机参数，确定第二特征点在场景图像中的第二图像位置；根据第二图像位置与第一图像位置，确定第二特征点的投影点与对应的像素点之间的距离；根据多个距离，确定重投影误差。

如上所述，场景图像可包括多个，可采用全部或部分场景图像，计算重投影误差。也即针对任意一个场景图像，按照上述方式计算每个场景图像对应的多个距离，将该多个距离的和，作为该场景图像对应的重投影子误差；进而可将多个场景图像对应的重投影子误差的和，作为图像传感器的重投影误差。

在步骤S16中，根据第一距离误差、第二距离误差及重投影误差，对雷达传感器和图像传感器进行标定，得到雷达传感器的第一标定结果及图像传感器的第二标定结果。

可理解的是，对雷达传感器和图像传感器进行标定，也即，优化雷达传感器的雷达位姿以及图像传感器的相机参数。

其中，可采用本领域已知的优化算法，例如：捆绑调整(Bundle Adjustment，BA)算法，实现根据第一距离误差、第二距离误差及重投影误差，优化雷达传感器的雷达位姿以及图像传感器的相机参数，对此本公开实施例不作限制。雷达传感器的第一标定结果包括优化后的雷法位姿，图像传感器的第二标定结果包括优化后的相机参数。

考虑到，按照上述传感器标定方法进行一轮优化，可能未优化至最优的雷达位姿及相机参数。在一种可能的实现方式中，可根据优化后的雷达位姿以及优化后的相机参数，重新执行上述传感器标定方法，至满足迭代轮数，或雷达位姿与相机参数收敛，得到雷达传感器的第一标定结果及图像传感器的第二标定结果。

如上所述，可从第一点云及第二点云中提取具有显著特征的特征点。在一种可能的实现方式中，所述方法还包括：

步骤S21：对多个第一点云分别进行特征点提取，确定各个第一点云各自的第一特征点集；

步骤S22：对第二点云进行特征点提取，确定第二点云的第二特征点集。

应理解的是，步骤S21及步骤S22可在分别得到第一点云及第二点云后执行。对于步骤S21及步骤S22的执行顺序，本公开实施例不作限制。

在一种可能的实现方式中，在步骤S21中，对多个第一点云分别进行特征点提取，确定各个第一点云各自的第一特征点集，包括：

步骤S211：针对任意一个第一点云，根据雷达传感器的各激光发射点的相对位置，确定第一点云的点云序列。

应理解的是，雷达传感器可包括一个或多个激光发射器。每个激光发射器可发射一束或多束激光，在一个轮询周期内，一个或多个激光发射器轮询发射激光，激光发射器在发射激光时的位置也即为激光发射点。其中，发射一束激光的雷达传感器可是单线激光雷达，发射多束激光的雷达传感器可是多线激光雷法。

基于此，为便于之后提取各第一点云中特征点，可对各第一点云进行排序，得到有序的第一点云，也即得到第一点云的点云序列。其中，可先确定雷法传感器的各激光发射点之间的相对位置，进而根据该相对位置，对第一点云中的数据点进行排序，得到有序的第一点云，也即得到第一点云的点云序列。

其中，确定各激光发射点的相对位置，可包括：确定各激光发射点的竖直夹角和水平夹角。应理解的是，竖直夹角可表征激光发射点发射的各束激光在竖直方向上的发射方位，水平夹角可表征激光发射点发射的各束激光在水平方向上的发射方位。

其中，根据竖直夹角，可实现各激光发射点在竖直方向上的排序，也即实现将第一点云中的数据点在竖直方向的排序；根据水平夹角，可实现每个激光发射点的各线束激光在水平方向上的排序，也即实现各数据点在水平方向上的排序。对第一点云中各数据点在水平方向及竖直方向上进行排序后，可得到有序的点云序列。

在一种可能的实现方式中，各激光发射点的竖直夹角可通过公式(1)确定，水平夹角可通过公式(2)确定：

其中，(x_l,y_l,z_l)表征第一点云中的数据点在雷达传感器的雷达坐标系中的坐标。

应理解的是，针对多个第一点云中各个第一点云，均可按照步骤S211的方式，确定出各个第一点云的点云序列。

步骤S212：根据第一点云的点云序列，确定出与第一点云中任意一个第一数据点对应的多个第一相邻点。

应理解的是，点云序列可表征第一点云中各数据点之间的序列关系，也即排列关系。根据该序列关系，可确定出第一点云中与任意一个第一数据点相邻的多个第一相邻点。其中，第一相邻点的个数可根据实际需求确定，对此本公开实施例不作限制。

举例来说，可选取某第一数据点在水平方向左右排列的相邻5个数据点，和/或竖直方向上下排列的相邻6个数据点等，作为与该第一数据点相邻的第一相邻点。应理解的，本领域技术人员可根据实际需求设置第一相邻点的选取规则，来选取多个第一相邻点，对此本公开实施例不作限制。

步骤S213：根据第一数据点的坐标与多个第一相邻点的坐标，确定第一数据点对应的曲率。

在一种可能的实现方式，可通过公式(3)确定第一数据点对应的曲率C：

其中，k代表多个第一点云中的第k个第一点云，i代表第一点云中的第i个第一数据点，L代表雷法传感器的雷达坐标系，

代表第k个第一点云中的第i个第一数据点在雷达坐标系中的坐标，j代表多个第一相邻点中的第j个第一相邻点，

代表第k个第一点云中的第i₀个第一相邻点在雷达坐标系中的坐标，‖‖代表范数。

步骤S214：根据第一点云中多个第一数据点的曲率，确定第一点云中的第一特征点集。

应理解的是，针对任意一个第一点云中的每个第一数据点，均可按照上述步骤S212至步骤S213，确定出每个第一数据点的曲率。

在一种可能的实现方式中，根据第一点云中多个第一数据点的曲率，确定第一点云中的第一特征点集，可包括：选取多个第一数据点的曲率大于第一曲率阈值的数据点，和/或选取多个第一数据点的曲率小于第二曲率阈值的数据点，构成第一特征点集。

其中，第一曲率阈值及第二曲率阈值，可根据多个第一数据点的曲率的平均值、历史经验等确定，例如，可将多个第一数据点的曲率的平均值的2倍作为第一曲率阈值，将多个第一数据点的曲率的平均值的0.5倍作为第二曲率阈值，对此本公开实施例不作限制。

可知晓的是，数据点的曲率越大，意味着该数据点是边缘点的概率越大，曲率越小，意味着该数据点是平面点的概率越大，因此，可选取曲率较大和/或曲率较小的数据点，作为具有显著特征的特征点，也即是边缘点或平面点的概率较大的数据点。其中，边缘点可理解为物体边缘上的点，平面点可理解为物体表面上的点。

应理解的是，针对多个第一点云中各个第一点云，均可按照步骤S212至步骤S214的方式，确定出各个第一点云的第一特征点集。

在本公开实施例中，能够高效准确地得到各个第一点云的第一特征点集。

在一种可能的实现方式中，在步骤S214中，根据第一点云中多个第一数据点的曲率，确定第一点云中的第一特征点集，包括：

按照多个第一数据点的曲率，对多个第一数据点进行排序，得到排序结果；按照从大到小的顺序，选取排序结果中的n个第一数据点作为n个边缘点；和/或，按照从小到大的顺序，选取排序结果中的m个第一数据点作为m个平面点；其中，n和m为正整数，第一特征点集包括边缘点和/或平面点。

其中，按照多个第一数据点的曲率，对多个第一数据点进行排序，可包括：按照多个第一数据点的曲率，对多个第一数据点进行降序排序或升序排列，对此本公开实施例不作限制。应理解的是，排序结果可包括升序排列结果或降序排列结果。

如上所述，数据点的曲率越大，意味着该数据点是边缘点的概率越大，曲率越小，意味着该数据点是平面点的概率越大。因此，可按照从大到小的顺序，选取排序结果中的n个第一数据点作为n个边缘点；和/或，按照从小到大的顺序，选取排序结果中的m个第一数据点作为m个平面点。

其中，n和m可相同可不同，可根据第一数据点的数量、处理器的运算能力等确定n和m的值。例如，可设置n和m分别为固定的100个，或可设置n和m为第一数据点的数量的10％，对此本公开实施例不作限制。

举例来说，对第一数据点进行降序排列，得到“s1、s2、s3、s4、……、s97、s98、s99、s100”的排列结果；n和m为10，则按照从大到小的顺序，可选取10个“s1、s2、……、s10”作为10个边缘点，按照从小到大的顺序，可选取10个“s91、s92、……、s100”作为10个平面点，第一特征点集中包括“s1、s2、……、s10、s91、s92、……、s100”。

在本公开实施例中，能够根据曲率大小，更灵活有效地确定出第一特征点集。

在一种可能的实现方式中，在步骤S22中，对第二点云进行特征点提取，确定第二点云的第二特征点集，包括：

步骤S221：针对第二点云中的任意一个第二数据点，从第二点云中确定出与第二数据点对应的多个第二相邻点。

应理解的是，根据多个场景图像所构建出的第二点云，可是有序的第二点云，也即第二点云中第二数据点之间的序列关系(排列关系)已知。根据该序列关系，可确定出第二点云中与任意一个第二数据点相邻的多个第二相邻点。其中，第二相邻点的个数可根据实际需求确定，对此本公开实施例不作限制。

举例来说，可选取某第二数据点在水平方向左右排列的相邻10个数据点，和/或竖直方向上下排列的相邻10个数据点等，作为与该第二数据点相邻的第二相邻点。应理解的，本领域技术人员可根据实际需求设置第二相邻点的选取规则，来选取多个第二相邻点，对此本公开实施例不作限制。

在一种可能的实现方式中，可采用KD-tree，又称k-dimensional树、k-d树、k-维树，存储第二点云。通过该方式，可以在KD-tree中便捷高效地搜索出与每个第二数据点相邻的多个第二相邻点。

步骤S222：根据第二数据点的坐标与多个第二相邻点的坐标，分别确定第二数据点与各个第二相邻点之间的距离。

其中，可根据已知的距离计算方式，如欧式距离、余弦距离等，实现根据第二数据点的坐标与多个第二相邻点的坐标，分别确定第二数据点与各个第二相邻点之间的距离，对此本公开实施例不作限制。

步骤S223：在第二数据点与各个第二相邻点之间的距离均小于第一距离阈值的情况下，将第二数据点确定为第二特征点集中的第二特征点。

应理解的是，针对各个第二相邻点与该第二数据点之间的距离，通常不会存在某个第二相邻点与该第二数据点之间的距离过大的情况，若存在该情况，可将该第二数据点确定为无效点，也即不将该第二数据点作为第二特征点集中的第二特征点。

其中，第一距离阈值可根据实际需求、第二点云的密度等确定，例如可设置为1米，对此本公开实施例不作限制。第二数据点与各个第二相邻点之间的距离均小于第一距离阈值，意味着该第二数据点是有效的数据点，此时可将该第二数据点确定为第二特征点集中的第二特征点。应理解的是，第二特征点集中可包括多个第二特征点。

在本公开实施例中，能够根据第二数据点与对应的第二相邻点之间的距离，确定出第二特征点集，相当于对第二点云进行过滤、筛选，从而确定出有效的第二特征点集。

如上所述，第二特征点集中包括多个第二特征点，物体上可包括处于物体边缘上的边缘点，以及处于物体表面上的平面点，为便于之后计算雷达传感器与图像传感器之间的第一距离误差，在一种可能的实现方式中，所述方法还包括：步骤S224：确定多个第二特征点中的边缘点和/或平面点。

在一种可能的实现方式中，在步骤S224中，确定多个第二特征点中的边缘点和/或平面点，包括：

针对任意一个第二特征点，确定与第二特征点对应的多个第二相邻点的协方差矩阵，并分解协方差矩阵，得到多维特征值；在多维特征值中的任意一维特征值与各维特征值之间的差异，存在超过差异阈值的情况下，确定第二特征点为边缘点。通过该方式，可有效地确定出第二特征点中的边缘点。

应理解的是，第二特征点属于第二数据点，与第二特征点对应的多个第二相邻点，也即与第二特征点相邻的多个第二相邻点。

其中，确定与第二特征点对应的多个第二相邻点的协方差矩阵，可包括：根据多个第二相邻点构成的列向量Y，以及协方差矩阵的计算公式(4)，得到多个第二相邻点的协方差矩阵A。

A＝E[(Y-E[Y])(Y-E[Y])^T] (4)

其中，E[Y]代表列向量Y的期望。()^T代表矩阵的转置。

在一种可能的实现方式中，可采用本领域已知的矩阵分解算法，例如奇异值分解(Singular Value Decomposition，SVD)算法，实现分解协方差矩阵，得到多维特征值。应理解的是，还可得到与多维特征值对应的多维特征向量。在本公开中可利用多维特征值确定第二特征点中的边缘点。

可理解的是，在多维特征值中任意维度的特征值存在远大于其它维度的特征值时，可认为该第二特征点的边缘特征较显著，可将该第二特征点认为是边缘点。其中，任意维度的特征值远大于其它维度的特征值，也即，任意一维特征值与各维特征值之间的差异超过差异阈值。

其中，差异阈值可根据历史经验、任意一维特征值与各维特征值之间的差异的偏差、方差等确定，对此本公开实施例不作限制。

在一种可能的实现方式中，在步骤S224中，确定多个第二特征点中的边缘点和/或平面点，还包括：

针对任意一个第二特征点，根据与第二特征点对应的多个第二相邻点，拟合平面方程，并确定平面方程的法向量；在与第二特征点对应的多个第二相邻点，与法向量的乘积均处于阈值区间的情况下，确定第二特征点为平面点。通过该方式，可有效地确定出第二特征点中的平面点。

其中，可采用本领域已知的平面拟合方式，实现根据多个第二相邻点的坐标，拟合平面方程，其中，平面方程例如可表示为ax+by+cz＝0，其中，a、b、c、d代表平面方程的参数，(a,b,c)可代表平面方程的法向量。应理解的是，在拟合出平面方程后，便可确定出平面方程的法向量。

可知晓的是，平面上的点与该平面对应平面方程的法向量相乘通常近似等于0，或者说任一点与某个平面方程的法向量相乘近似等于0，意味着该点处于该平面方程对应的平面上。基于此，阈值区间可设置为在0左右的区间，例如[0.1,-0.1]，对于阈值区间的数值可根据历史经验、拟合平面的精度等设置，对此本公开实施例不作限制。

其中，与第二特征点对应的多个第二相邻点与法向量的乘积均处于阈值区间内，意味着，与第二特征点对应的多个第二相邻点处于同一平面中，由于第二相邻点是与第二特征点相邻的，因此第二特征点也是处于平面中的，此时可将第二特征点作为平面点。

需要说明的是，在本公开实施例中可仅执行上述确定边缘点的过程，或仅执行上述确定平面点的过程，还可按照先后顺序执行上述确定边缘点和平面点的过程，对此本公开实施例不作限制。

其中，按照先后顺序执行上述确定边缘点和平面点的方式，可能在第二特征点中存在部分特征点既不是边缘点也不是平面点的情况，在该情况下，可将该部分特征点筛除，这样在第二特征点集中可剩余具有显著特征点的特征点。

在一种可能的实现方式中，在步骤S13中，根据第一点云的第一特征点集与第二点云的第二特征点集，确定图像传感器与雷达传感器之间的第一距离误差，包括：

步骤S131：针对任意一个第一特征点集，根据第一特征点集中的第一特征点与第二特征点集中的第二特征点之间的距离，确定出相匹配的第一特征点对，每个第一特征点对包括一个第一特征点和一个第二特征点。

如上所述，可采用本领域已知的距离计算方式，实现根据第一特征点的坐标以及第二特征点的坐标，计算第一特征点与第二特征点之间的距离。应理解的是，针对第一特征点集中的任意一个第一特征点，可计算该任意一个第一特征点与第二特征点集中的各个第二特征点之间的距离，以便于确定出与第一特征点相匹配的第二特征点。

应理解的是，两个特征点之间距离越小，代表两个特征点越相似，或者说，代表两个特征点是同一物体上的同一点的概率越高。基于此，可将距离小于第二距离阈值所对应的第一特征点与第二特征点作为第一特征点对。

步骤S132：根据相匹配的多个第一特征点对，确定第一特征点集与第二特征点集之间的第一子误差。

应理解的是，针对一个第一特征点集中的任意一个第一特征点，均可按照步骤S131的方式，确定出相匹配的第二特征点。由此，可得到多个第一特征点对。

如上所述，针对目标场景中同一物体，第一点云与第二点云在同一坐标下表征该同一物体的数据点应该是重合的，或者说无限接近的，那么理论上任一第一特征点对中的第一特征点与第二特征点之间的距离应是约等于0。

基于此，可将多个第一特征点对中的第一特征点与第二特征点之间的距离之和，或多个第一特征点对中的第一特征点与第二特征点之间的距离的平均值，确定为第一特征点集与第二特征点集之间的第一子误差，对此本公开实施例不作限制。

步骤S133：根据多个第一子误差，确定图像传感器与雷达传感器之间的第一距离误差。

应理解的是，针对各个第一特征点集，均可按照步骤S131至步骤S132的方式，确定出各个第一特征点集与第二特征点集之间的第一子误差，也即，第一子误差包括多个。

在一种可能的实现方式中，可将多个第一子误差之和，或将多个第一子误差的平均值，确定为图像传感器与雷达传感器之间的第一距离误差，对此本公开实施例不作限制。

在本公开实施例中，能够根据相匹配的第一特征点对，有效地确定出第一距离误差。

如上所述，第一点云是基于雷达传感器的雷达坐标系确定的。第二点云是基于全局坐标系确定的，为便于确定出第一特征点集与第二特征点集中的第一特征点对，可将第一点云与第二点云变换至同一坐标系中。

在一种可能的实现方式中，在步骤S131中，针对任意一个第一特征点集，根据第一特征点集中的第一特征点与第二特征点集中的第二特征点之间的距离，确定出相匹配的第一特征点对，包括：

针对任意一个第一特征点集，根据雷达传感器与图像传感器的位姿变换关系，以及图像传感器的相机坐标系与全局坐标系的坐标变换关系，确定第一特征点集中的第一特征点与第二特征点集中第二特征点之间的距离；将距离小于第二距离阈值所对应的第一特征点与第二特征点，确定为相匹配的第一特征点对。

如上所述，雷法传感器与图像传感器在智能设备上的位置固定，基于此，雷达传感器与图像传感器的位姿变换关系可是不变的，该位姿变换关系可通过历史标定的雷达位姿与图像传感器的相机位姿确定，也即该位姿变换关系可是已知的。

其中，相机坐标系与全局坐标系之间的坐标变换关系，也即相机坐标系与世界坐标系之间的坐标变换关系，其中，可图像传感器的相机外参可表征该相机坐标系与全局坐标系之间的坐标变换关系。

在一种可能的实现方式中，可根据上述位姿变换关系以及上述坐标变换关系，将第一特征点与第二特征点变换至同一坐标系中，也即全局坐标系中或相机坐标系中，进而根据变换至同一坐标系中的第一特征点的坐标与第二特征点的坐标，确定第一特征点与第二特征点之间的距离。

如上所述，两个特征点之间距离越小，代表两个特征点越相似，或者说，代表两个特征点是同一物体上的同一点的概率越高。基于此，可将距离小于第二距离阈值所对应的第一特征点与第二特征点作为第一特征点对。

在本公开实施例中，可有效地实现在同一坐标系中确定出相匹配的第一特征点对，能够将雷达传感器与图像传感器之间的位姿变换关系引入对雷达传感器与图像传感器的联合标定中，相当于引入了雷达传感器与图像传感器之间的约束关系，有利于提升多个传感器之间联合标定的全局一致性。

如上所述，可根据上述位姿变换关系以及上述坐标变换关系，将第一特征点与第二特征点变换至相机坐标系中。在一种可能的实现方式中，针对任意一个第一特征点集，根据雷达传感器到图像传感器的位姿变换关系，以及图像传感器的相机坐标系与全局坐标系的坐标变换关系，确定第一特征点集中的第一特征点与第二特征点集中的第二特征点之间的距离，包括：

针对任意一个第一特征点集，根据雷达传感器与图像传感器的位姿变换关系，确定第一特征点集中的第一特征点在相机坐标系下的第一位置；根据相机坐标系与全局坐标系的坐标变换关系，确定第二特征点集中的第二特征点在相机坐标系下的第二位置；根据第一位置与第二位置，确定第一特征点集中的第一特征点与第二特征点集中的第二特征点之间的距离。

其中，根据雷达传感器与图像传感器的位姿变换关系，确定第一特征点集中的第一特征点在相机坐标系下的第一位置，也即，将雷达坐标系中的第一特征点，转换至相机坐标系中，也就得到第一特征点在相机坐标系下的第一位置。

其中，可通过公式(4)：X_cl＝R_clX_l+t_cl，实现确定第一特征点在相机坐标系下的第一位置，其中，X_l代表雷达坐标系中的第一特征点的位置，X_cl代表第一特征点在相机坐标下的第二位置，平移矩阵R_cl与旋转矩阵t_cl代表雷达传感器与图像传感器的位姿变换关系。

其中，可通过公式(5)：X_ch＝RX_h+t，实现确定全局坐标系中的第二特征点X_h在相机坐标系下的第二位置，也即将全局坐标系中的第二特征点X_h，转换至相机坐标系中，得到第二特征点在相机坐标系下的第二位置X_ch；其中，旋转矩阵R和平移矩阵t代表相机坐标系与全局坐标系之间的坐标变换关系(也即历史标定的相机外参)。

如上所述，可采用本领域已知的距离计算公式，如欧式距离、余弦距离等，实现根据第一位置与第二位置，确定第一特征点集中的第一特征点与第二特征点集中的第二特征点之间的距离，对此本公开实施例不作限制。

在本公开实施例中，能够有效在相机坐标系中计算第一特征点与第二特征点之间的距离，同时还能够将雷达传感器与相机传感器之间的位姿变换关系引入对雷达传感器与相机传感器的联合标定中，相当于引入了雷达传感器与相机传感器之间的约束关系，有利于提升联合标定的全局一致性。

如上所述，可根据上述位姿变换关系以及上述坐标变换关系，将第一特征点与第二特征点变换至全局坐标系中。在一种可能的实现方式中，针对任意一个第一特征点集，根据雷达传感器到图像传感器的位姿变换关系，以及图像传感器的相机坐标系与全局坐标系的坐标变换关系，确定第一特征点集中的第一特征点与第二特征点集中的第二特征点之间的距离，还包括：

针对任意一个第一特征点集，根据雷达传感器到图像传感器的位姿变换关系，以及相机坐标系与全局坐标系的坐标变换关系，确定第一特征点集中的第一特征点在全局坐标系下的第二全局位置；

根据第二全局位置与第二特征点集中的第二特征点的第一全局位置，确定第一特征点集中的第一特征点与第二特征点集中的第二特征点之间的距离。

在一种可能的实现方式中，可根据公式(6)：X_hl＝R(R_clX_l+t_cl)+t，实现确定第一特征点在全局坐标系下的第二全局位置，其中，R_cl和t_cl代表雷达传感器与图像传感器的位姿变换关系，R和t代表相机坐标系与全局坐标系的坐标变换关系，X_l代表雷达坐标系下第一特征点的位置，X_hl代表第一特征点在全局坐标系中的第二全局位置。该公式(6)代表将雷达坐标系下的第二特征点先转换至相机坐标系中，再转换至全局坐标系中。

如上所述，第二点云是基于全局坐标系构建的，第二特征点的第一全局位置可是已知的。其中，可采用本领域已知的距离计算公式，如欧式距离、余弦距离等，实现根据第一全局位置与第二全局位置，确定第一特征点与第二特征点之间的距离，对此本公开实施例不作限制。

在本公开实施例中，能够有效在全局坐标系中计算第一特征点与第二特征点之间的距离，同时还能够将雷达传感器与相机传感器之间的位姿变换关系引入对雷达传感器与相机传感器的联合标定中，相当于引入了雷达传感器与相机传感器之间的约束关系，有利于提升联合标定的全局一致性。

如上所述，第一特征点集中可包括边缘点和/或平面点，也即第一特征点可是边缘点或平面点；第二特征点集中可包括边缘点和/或平面点，也即第二特征点可是边缘点或平面点。相应的，第一特征点对可包括边缘点对和/或平面点对，应理解的是，边缘对中的两个特征点可是边缘点，平面点对中的两个特征点可是平面点。

在一种可能的实现方式中，在步骤S132中，根据相匹配的多个第一特征点对，确定第一特征点集与第二特征点集之间的第一子误差，包括：

步骤S1321：针对任意一个第一特征点对，在第一特征点对为边缘点对的情况下，确定第一特征点对中的第二特征点，到第一特征点对中的第一特征点所在直线的第一垂直距离。

应理解的是，两点构成一条直线，在一种可能的实现方式中，可用第一特征点以及与该第一特征点最近邻的第一特征点，表征第一特征点所在直线；其中，与该第一特征点最近邻的第一特征点，可是第一特征点集中与该第一特征点距离最近的特征点。当然还可用第一特征点以及与该第一特征点最近邻的第一特征点，求取直线方程，以通过该直线方程表征该第一特征点所在直线。

如上所述，可在相机坐标系中计算第一特征点与第二特征点之间的距离。在一种可能的实现方式中，针对相机坐标系，可通过公式(7)计算第二特征点到第一特征点所在直线的第一垂直距离D₁：

或，

其中，X_cl,1、X_cl,2分别代表第一特征点以及与该第一特征点最邻近的第一特征点分别在相机坐标系下的第一位置，X_ch代表第二特征点在相机坐标系下的第二位置，a₀、b₀、c₀可代表在相机坐标系下的第一特征点所在直线的直线方程参数，其中，X_ch可通过上述公式(5)确定，X_cl,1、X_cl,2可通过上述公式(4)确定。

如上所述，还可在全局坐标系中计算第一特征点与第二特征点之间的距离。在一种可能的实现方式中，针对全局坐标系，可通过公式(8)计算第二特征点到第一特征点所在直线的第一垂直距离D₁：

或，

其中，X_h代表第二特征点在全局坐标系下的第一全局位置，X_hl,1、X_hl,2分别代表第一特征点以及与该第一特征点最邻近的第一特征点，分别在全局坐标系下的第二全局位置，a₁、b₁、c₁可代表在全局坐标系下第二特征点所在直线的直线方程的方程参数，其中，可通过上述公式(6)确定X_hl,1、X_hl,2。

需要说明的是，以上计算第一特征点对中的第二特征点到第一特征点所在直线的第一垂直距离，是本公开实施例提供的一种实现方式，实际上，还可以是按照上述方式计算第一特征点对中的第一特征点到第二特征点所在直线的第一垂直距离，对此本公开实施例不作限制。

通过该方式，通过计算第二特征点到第一特征点所在直线的第一垂直距离，能够得到更精准的第一子误差。

步骤S1322：在第一特征点对为平面点对的情况下，确定第一特征点对中的第二特征点，到第一特征点对中的第一特征点所在平面的第二垂直距离。

应理解的是，三点构成一个平面，在一种可能的实现方式中，可用第一特征点以及与该第一特征点最近邻的两个第一特征点，表征第一特征点所在平面；其中，该第一特征点最近邻的两个第一特征点，可是第一特征点集中与该第一特征点距离最近的两个特征点。当然还可用第一特征点以及与该第一特征点最近邻的两个第一特征点，求取平面方程，以通过该平面方程表征该第一特征点所在平面。

如上所述，可在相机坐标系中计算第一特征点与第二特征点之间的距离。在一种可能的实现方式中，针对相机坐标系，可通过公式(9)计算第二特征点到第一特征点所在平面的第二垂直距离D₂：

或，

其中，X_cl,1、X_cl,2、X_cl,3分别代表第一特征点以及与该第一特征点最邻近的两个第一特征点，分别在相机坐标系下的第一位置，X_ch代表第二特征点在相机坐标系下的第二位置，a₂、b₂、c₂、d₂可代表在相机坐标系下第一特征点所在平面的平面方程参数，其中，X_ch可通过上述公式(5)确定，X_cl,1、X_cl,2、X_cl,3可通过上述公式(4)确定。

如上所述，还可在全局坐标系中计算第一特征点与第二特征点之间的距离。在一种可能的实现方式中，针对全局坐标系，可通过公式(10)计算第二特征点到第一特征点所在直线的第二垂直距离D₂：

或，

其中，X_h代表第二特征点在全局坐标系下的第一全局位置，X_hl,1、X_hl,2、X_hl,3分别代表第一特征点以及与该第一特征点最邻近的两个第一特征点，分别在全局坐标系下的第二全局位置，a₃、b₃、c₃、d₃可代表在全局坐标系下第一特征点所在平面的平面方程参数，其中，可通过上述公式(6)确定X_hl,1、X_hl,2、X_hl,3。

需要说明的是，以上计算第一特征点对中的第二特征点到第一特征点所在平面的第二垂直距离，是本公开实施例提供的一种实现方式，实际上，还可以是按照上述方式计算第一特征点对中的第二特征点到第一特征点所在平面的第二垂直距离，对此本公开实施例不作限制。

通过该方式，通过计算第二特征点到第一特征点所在平面的第二垂直距离，能够得到更精准的第一子误差。

步骤S1323：根据多个第一垂直距离和/或多个第二垂直距离，确定第一子误差。

应理解的是，针对各个第一特征点对，均可按照步骤S1321和/或步骤S1322，计算出第一垂直距离与第二垂直距离。由此，第一垂直距离与第二垂直距离可包括多个。

在一种可能的实现方式中，根据多个第一垂直距离和/或多个第二垂直距离，确定第一子误差，可包括：根据多个第一垂直距离，确定第一垂直距离误差；和/或，根据第二垂直距离，确定第二垂直距离误差；将第一垂直距离误差或第二垂直距离误差，确定为第一子误差；或者，将第一垂直距离误差与第二垂直距离误差的和，确定为第一子误差。也即，第一子误差中包括多个第一垂直距离误差和/或多个第二垂直距离误差。

在一种可能的实现方式中，可分别通过公式(11)和公式(12)确定第一垂直距离误差H₁及第二垂直距离误差H₂：

其中，Q可代表多个第一特征点对的数量，也可代表代表第二特征点集中第二特征点的数量，q可代表多个第一特征点对中的第q个第一特征点对，也可代表第二特征点集Q中的第q个第二特征点，

代表第q个第二特点对的第一垂直距离，

代表第q个第二特点对的第二垂直距离；

代表P-范数的平方，

或

应理解的是，针对各个第一特征点集，均可按照步骤S131至步骤S133的方式，确定出各个第一特征点集与第二特征点集之间的第一子误差，也即，第一子误差包括多个。

如上所述，可将多个第一子误差之和，或将多个第一子误差的平均值，确定为图像传感器与雷达传感器之间的第一距离误差，对此本公开实施例不作限制。在一种可能的实现方式中，第一距离误差F₁可表示为公式(13)：

其中，G代表多个第一特征点集的数量，g代表多个第一特征点集中的第g个第一特征点集，

代表第g个第一特征点集对应的第一垂直距离误差，

代表第g个第一特征点集对应的第二垂直距离误差。该公式(13)可代表对多个第一子误差求和，得到第一距离误差。

在本公开实施例中，通过计算点到线、点到面的垂直距离误差，可得到更精准的第一子误差，进而可得到更精准的第一距离误差。

在一种可能的实现方式中，在步骤S14中，根据多个第一特征点集，确定雷达传感器的第二距离误差，包括：

步骤S141：根据第三特征点集中的第三特征点与第四特征点集中的第四特征点之间的距离，确定出相匹配的第二特征点对，其中，第三特征点集和第四特征点集为任意两个第一特征点集，每个第二特征点对包括一个第三特征点和一个第四特征点。

如上所述，多个第一点云是雷达传感器在目标场景中不同位置处采集的点云。由于雷达传感器在不同位置处的雷达位姿可是不同的，雷达传感器在不同位置处采集的第一点云之间也可能存在误差。第一点云的第一特征点集，可理解为第一点云中的特征点所构成的集合。

其中，第三特征点集与第四特征点集，可是多个第一特征点集中在采集时序上相邻的两个第一特征点集，还可是间隔选取的两个第一特征点集，对此本公开实施例不作限制。

其中，可采用本领域已知的距离计算方式，实现根据第三特征点的坐标以及第四特征点的坐标，计算第三特征点与第四特征点之间的距离。应理解的是，针对第三特征点集中的任意一个第三特征点，可计算该任意一个第三特征点与第四特征点集中的各个第四特征点之间的距离，以便于确定出与第三特征点相匹配的第四特征点。

应理解的是，两个特征点之间距离越小，代表两个特征点越相似，或者说，代表两个特征点是同一物体上的同一点的概率越高。基于此，可将距离小于第三距离阈值所对应的第三特征点与第四特征点作为第一特征点对。

应理解的是，针对第三特征点集中的各个第三特征点，均可按照步骤S141的方式，确定出相匹配的第四特征点。由此，可得到多个第二特征点对。

步骤S142：根据相匹配的多个第二特征点对，确定第三特征点集与第四特征点集之间的第二子误差。

如上所述，针对目标场景中同一物体，不同位置处采集的第一点云在同一坐标下表征该同一物体的数据点应该是重合的，或者是无限接近的，那么理论上任一第二特征点对中的第三特征点与第四特征点之间的距离应是约等于0。

基于此，可将多个第二特征点对中的第三特征点与第四特征点之间的距离之和，或多个第二特征点对中的第三特征点与第四特征点之间的距离的平均值，确定为第三特征点集与第四特征点集之间的第二子误差，对此本公开实施例不作限制。

步骤S143：根据多个第二子误差，确定雷达传感器的第二距离误差。

应理解的是，针对任意两个第一特征点集，均可按照步骤S141至步骤S142的方式，确定出任意两个第一特征点集对应的第二子误差，也即，第二子误差包括多个。

在一种可能的实现方式中，可将多个第二子误差之和，或将多个第二子误差的平均值，确定为雷达传感器的第二距离误差，对此本公开实施例不作限制。

在本公开实施例中，能够根据相匹配的第二特征点对，有效地确定出第二距离误差。

如上所述，雷达传感器在采集各个第一点云时的雷达位姿不同，这意味着各个第一点云的坐标可能是不统一的，为便于确定出任意两个第一特征点集之间的第二特征点对，可将各个第一特征点集变换至同一坐标系中。在一种可能的实现方式中，在步骤S141中，根据第三特征点集中的第三特征点与第四特征点集中的第四特征点之间的距离，确定出相匹配的第二特征点对，包括：

根据雷达传感器在采集各个第一点云时的雷达位姿，确定第三特征点集中的第三特征点与第四特征点集中的第四特征点之间的距离；将距离小于第三距离阈值所对应的第三特征点和第四特征点，确定为相匹配的第二特征点对。

如上所述，雷达传感器在采集各个第一点云时的雷达位姿，可通过智能设备上安装的组合惯性导航系统、全球卫星导航系统和/或惯性导航系统等确定，对此本公开实施例不作限制。

应理解的是，雷达位姿可表征雷达传感器的雷达坐标系与全局坐标系之间的坐标变换关系，或者说，雷法传感器相对于全局坐标系的位姿变换关系；其中，可直接根据采集各个第一点云时的雷达位姿，将各个第一特征点集变换至全局坐标系中，进而根据变换至全局坐标系中的第三特征点的坐标与第四特征点的坐标，确定第三特征点与第四特征点之间的距离。

在一种可能的实现方式中，还可根据雷法传感器在采集各个第一点云时的雷法位姿，确定任意两个第一特征点集对应的相对雷达位姿，进而根据该相对雷达位姿，将第三特征点集与第四特征点集变换至同一坐标系中，例如可变换至雷达传感器在采集其中一个第一点云时的雷达坐标系中，对此本公开实施例不作限制。

如上所述，两个特征点之间距离越小，代表两个特征点越相似，或者说，代表两个特征点是同一物体上的同一点的概率越高。基于此，可将距离小于第三距离阈值所对应的第三特征点与第四特征点作为第二特征点对。

在本公开实施例中，可有效地实现在同一坐标系中确定出相匹配的第二特征点对，能够将雷达传感器自身的位姿误差引入联合标定中，有利于提升联合标定的精度。

如上所述，可将第一特征点集变换至全局坐标系。在一种可能的实现方式中，根据雷达传感器在采集各个第一点云时的雷达位姿，确定第三特征点集中的第三特征点与第四特征点集中的第四特征点之间的距离，包括：

根据雷达传感器在采集各个第一点云时的雷达位姿，确定第三特征点集中的第三特征点在全局坐标系下的第三全局位置，以及第四特征点集中的第四特征点在所述全局坐标系下的第四全局位置；根据第三全局位置与第四全局位置，确定第三特征点集中的第三特征点与第四特征点集中的第四特征点之间的距离。

其中，根据雷达传感器在采集各个第一点云时的雷达位姿，分别确定第三特征点在全局坐标系下的第三全局位置，以及确定第四特征点在全局坐标系中的第四全局位置，可理解为，将雷达坐标系下的第三特征点与第四特征点，转换至全局坐标系中，也就得到第三特征点在全局坐标系中的第三全局位置，以及第四特征点在全局坐标系中的第四全局位置。

在一种可能的实现方式中，可通过公式(14)：X_hl0＝R_lX_l+t_l，实现确定第三特征点及第四特征点在全局坐标系下的第三全局位置及第四全局位置；其中，平移矩阵R_l与旋转矩阵t_l代表雷达位姿，X_l代表雷达坐标系下的第三特征点及第四特征点的位置，X_hl0代表第三特征点或第四特征点在全局坐标系中的第三全局位置或第四全局位置。

如上所述，可采用本领域已知的距离计算公式，如欧式距离、余弦距离等，实现根据第三全局位置与第四全局位置，确定第三特征点集中的第三特征点与第四特征点集中的第四特征点之间的距离，对此本公开实施例不作限制。

在本公开实施例中，可有效地在全局坐标系中确定出相匹配的第二特征点对，同时还能够将雷达传感器自身的位姿误差引入联合标定中，有利于提升联合标定的精度。

如上所述，第二特征点集中可包括边缘点和/或平面点，也即第二特征点可是边缘点或平面点；相应的，第二特征点对可包括边缘点对和/或平面点对，应理解的是，边缘对中的两个特征点可是边缘点，平面点对中的两个特征点可是平面点。

在一种可能的实现方式中，在步骤S142中，根据相匹配的多个第二特征点对，确定第三特征点集与第四特征点集之间的第二子误差，包括：

步骤S1421：针对任意一个第二特征点对，在第二特征点对为边缘点对的情况下，确定第二特征点对中的第三特征点，到第二特征点对中的第四特征点所在直线的第三垂直距离。

如上所述，两点构成一条直线，在一种可能的实现方式中，可用第四特征点以及与该第四特征点最邻近的第四特征点，表征第四特征点所在直线。其中，与该第四特征点最邻近的第四特征点，可是第四特征点集中与该第四特征点距离最近的特征点。当然还可用第四特征点以及与该第四特征点最邻近的第四特征点，求取直线方程，以通过该直线方程表征该第四特征点所在直线。

在一种可能的实现方式中，可参照上述公式(8)计算第一垂直距离的方式，计算第三垂直距离D₃，也即，可将第三特征点在全局坐标系中的第三全局位置作为X_h，将第四特征点以及与该第四特征点最邻近的第四特征点分别作为X_hl,1、X_hl,2，将第四特征点所在直线的直线方程参数作为a₁、b₁、c₁，在此不做赘述。其中，应理解的是，与公式(8)不同的是，本公开实施例中第三特征点的第三全局位置与第四特征点的第四全局位置，是通过上述公式(14)确定出的全局位置。

需要说明的是，以上计算第二特征点对中的第三特征点到第四特征点所在直线的第三垂直距离，是本公开实施例提供的一种实现方式，实际上，还可以是按照上述方式计算第二特征点对中的第四特征点到第三特征点所在直线的第三垂直距离，对此本公开实施例不作限制。

通过该方式，通过计算第三特征点到第四特征点所在直线的第三垂直距离，能够得到更精准的第二子误差。

步骤S1422：在第二特征点对为平面点对的情况下，确定第二特征点对中的第三特征点，到第一特征点对中的第四特征点所在平面的第四垂直距离。

如上所述，三点构成一个平面，在一种可能的实现方式中，可用第四特征点以及与该第四特征点最邻近的两个第四特征点，表征第四特征点所在平面，其中，与该第四特征点最邻近的两个第四特征点，可是第四特征点集中与该第四特征点距离最近的两个特征点。当然还可用第四特征点以及与该第四特征点最邻近的两个第四特征点，求取平面方程，以通过该平面方程表征该第四特征点所在平面。

在一种可能的实现方式中，可参照上述公式(10)计算第二垂直距离的方式，计算第四垂直距离D₄，也即，可将第三特征点在全局坐标系中的第三全局位置作为X_h，将第四特征点以及与该第四特征点最邻近的两个第四特征点分别作为X_hl,1、X_hl,2、X_hl,3，将第四特征点所在平面的平面方程参数作为a₃、b₃、c₃、d₃，在此不做赘述。其中，应理解的是，与公式(10)不同的是，本公开实施例中第三特征点的第三全局位置与第四特征点的第四全局位置通过上述公式(14)确定。

需要说明的是，以上计算第二特征点对中的第三特征点到第四特征点所在平面的第四垂直距离，是本公开实施例提供的一种实现方式，实际上，还可以是按照上述方式计算第二特征点对中的第四特征点到第三特征点所在平面的第四垂直距离，对此本公开实施例不作限制。

通过该方式，通过计算第三特征点到第四特征点所在平面的第四垂直距离，能够得到更精准的第二子误差。

步骤S1423：根据多个第三垂直距离和/或多个第四垂直距离，确定第二子误差。

应理解的是，针对各个第二特征点对，均可按照步骤S1421和/或步骤S1422，计算出第三垂直距离与第四垂直距离。由此，第三垂直距离与第四垂直距离可包括多个。

在一种可能的实现方式中，根据多个第三垂直距离和/或多个第四垂直距离，确定第二子误差，可包括：根据多个第三垂直距离，确定第三垂直距离误差；和/或，根据第四垂直距离，确定第四垂直距离误差；将第三垂直距离误差或第四垂直距离误差，确定为第二子误差；或者，将第三垂直距离误差与第四垂直距离误差的和，确定为第二子误差。也即，第二子误差中包括多个第三垂直距离误差和/或多个第四垂直距离误差。

在一种可能的实现方式中，可分别参照上述公式(11)和公式(12)分别确定第一垂直距离误差与第二垂直距离误差的方式，确定第三垂直距离误差H₃及第四垂直距离误差H₄，在此不做赘述。

应理解的是，针对多个第一特征点集，均可按照步骤S141至步骤S143的方式，确定出任意两个第一特征点集之间的第二子误差，也即，第二子误差包括多个。

如上所述，可将多个第二子误差之和，或将多个第二子误差的平均值，确定为雷达传感器的第二距离误差，对此本公开实施例不作限制。在一种可能的实现方式中，第二距离误差F₂可表示为公式(15)：

其中，G代表多个第一特征点集的数量，g代表多个第一特征点集中的第g个第一特征点集(也即第g个第三特征点集)，

代表第g个第三特征点集对应的第三垂直距离误差，

代表第g个第三特征点集对应的第四垂直距离误差。该公式(15)可代表对多个第二子误差求和，得到第二距离误差。

在本公开实施例中，通过计算点到线、点到面的垂直距离误差，可得到更精准的第二子误差，进而可得到更精准的第二距离误差。

在一种可能的实现方式中，在步骤S15中，根据第二特征点集在全局坐标系下的第一全局位置，以及与第二特征点集对应的像素点在多个场景图像中的第一图像位置，确定图像传感器的重投影误差，包括：

步骤S151：针对任意一个场景图像，根据第二特征点集中任意一个第二特征点的第一全局位置以及图像传感器的相机参数，确定第二特征点在场景图像中的第二图像位置。

其中，可基于相机成像原理，例如可采用公式(16)示出的小孔成像原理模型，实现根据第二特征点的第一全局位置与相机参数，确定第二特征点在场景图像中的第二图像位置。

s[x^t]^T＝K[R t][X_h]^T (16)

其中，s为任意的比例因子，[X_h]^T代表第一全局位置的矩阵，[x^t]^T代表第二图像位置x^t的矩阵，K代表相机内参矩阵，[Rt]代表相机外参矩阵，R代表旋转矩阵，t代表平移矩阵。应理解的是，第一全局位置为三维坐标，第二图像位置为二维坐标。

应理解的是，针对各个第二特征点，均可以通过公式(16)得到各个第二特征点在场景图像中的第二图像位置。

步骤S152：根据多个第二特征点的第二图像位置，以及与多个第二特征点对应的像素点在场景图像中的第一图像位置，确定场景图像对应的重投影子误差。

应理解的是，通过公式(16)得到第二图像位置，也即得到第二特征点在图像传感器的图像坐标系(也即场景图像)中的投影点的坐标，该投影点是根据历史标定的相机参数计算得到的二维点；而与第二特征点对应的像素点，可理解为，实际拍摄到的场景图像中的二维点。

如上所述，理论上第二特征点的投影点与该第二像素点对应的像素点是重合的，由于计算投影点的相机参数与图像传感器实际的相机参数可能存在误差，基于场景图像构建出的第二点云与目标场景也存在误差，使得投影点与像素点之间可能存在误差，也即投影点与像素点的位置不重合；其中，投影点与像素点之间的误差，也即为重投影误差。

在一种可能的实现方式中，可以将投影点与像素点之间的距离，作为投影点与像素点之间的误差，其中，可基于投影点的坐标(即第二特征点的第二图像位置)与对应的像素点的坐标(即第一图像位置)，确定投影点与像素点之间的距离；进而将多个投影点与对应像素点之间的距离之和，确定为该场景图像对应的重投影子误差。

在一种可能的实现方式中，还可通过公式(17)确定场景图像对应的重投影子误差H₅：

其中，J代表多个第二特征点的数量，j代表多个第二特征点中的第j个第二特征点，x_j代表第j个第二特征点对应的像素点的第一图像位置，

代表第j个第二特征点对应投影点的第二图像位置，

通过上述公式(16)计算得到，‖ ‖²代表范数的平方。该公式(17)代表将多个第二特征点的第二图像位置与对应像素点的第二图像位置之间差值的范数的平方值之和，确定为重投影子误差。

应理解的是，针对各个场景图像，均可按照步骤S151至步骤S152的方式，得到各个场景图像对应的重投影子误差。

步骤S153：根据多个场景图像对应的重投影子误差，确定图像传感器的重投影误差。

在一种可能的实现方式中，根据多个场景图像对应的重投影子误差，确定图像传感器的重投影误差，可包括：可将多个场景图像对应的重投影子误差之和，确定为图像传感器的重投影误差F_3,1，如公式(18)：

其中，E代表多个场景图像的数量，e代表多个场景图像中的第e个场景图像；或还可将多个场景图像对应的重投影子误差的平均值，确定为图像传感器的重投影误差，对此本公开实施例不作限制。

如上所述，图像传感器可包括多个，应理解的是，在图像传感器为多个的情况下，各个图像传感器均可按照上述步骤S151至步骤S153，得到各个图像传感器对应的重投影误差，在此不做赘述。

在本公开实施例中，能够有效地得到图像传感器的重投影误差，这样可将图像传感器的重投影误差引入联合标定中，有利于提高图像传感器的标定精度。

如上所述，图像传感器包括多个，按照上述步骤S151至步骤S153确定各个图像传感器的重投影误差，使得多个图像传感器的标定相互独立，不利于实现多个传感器之间联合标定的全局一致性。

在一种可能的实现方式中，可在图像传感器为多个的情况下，可选取其中任一图像传感器作为参考图像传感器，其它图像传感器为非参考图像传感器，进而将参考图像传感器与非参考图像传感器之间的位姿变换关系，引入对多个图像传感器的联合标定中，通过该方式，相当于引入了多个图像传感器之间的约束关系，有利于提升多个传感器之间联合标定的全局一致性，提高传感器标定精度。

其中，参考图像传感器与非参考图像传感器之间的位姿变换关系，可根据历史标定的参考图像传感器的相机位姿，与历史标定的非参考图像传感器的相机位姿之间的刚性变换，得到参考图像传感器与非参考图像传感器之间的位姿变换关系。

在一种可能的实现方式中，在图像传感器为多个的情况下，多个图像传感器包括一个参考图像传感器和至少一个非参考图像传感器，基于此，多个场景图像可包括：参考图像传感器采集的多个参考图像，以及非参考图像传感器采集的多个非参考图像。

在一种可能的实现方式中，在步骤S15中，根据第二特征点集在全局坐标系下的第一全局位置，以及在多个场景图像中的与第二特征点集对应的像素点的第一图像位置，确定图像传感器的重投影误差，包括：

步骤S154：针对任一非参考图像，根据第二特征点集中任意一个第二特征点的第一全局位置、参考图像传感器的相机参数，以及非参考图像传感器与参考图像传感器之间的位姿变换关系，确定第二特征点在非参考图像中的第三图像位置。

其中，可基于上述公式(16)示出的相机成像原理，根据参考图像传感器的相机参数以及该第二特征点的第一全局位置，将第二特征点投影到参考图像传感器的图像坐标系(也即参考图像)中；进而根据非参考图像传感器与参考图像传感器之间的位姿变换关系，将第二特征点在参考图像传感器的图像坐标系中的坐标，变换至非参考图像传感器的图像坐标系中，得到第二特征点在非参考图像中的第三图像位置。

例如可通过公式(19)，实现根据非参考图像传感器与参考图像传感器之间的位姿变换关系，将在参考图像传感器的图像坐标系中的第二特征点，变换至非参考图像传感器的图像坐标系(也即非参考图像)中；

其中，

代表第j个第二特征点在非参考图像中的第三图像位置，

代表第j个第二特征点在参考图像传感器的图像坐标系中的图像位置，

通过上述公式(16)计算得到，R_cf和t_cf代表非参考图像传感器与参考图像传感器之间的位姿变换关系，R_cf代表旋转矩阵、t_cf代表平移矩阵。

应理解的是，针对各个第二特征点，均可按照步骤S154得到各个第二特征点对应的第三图像位置。

步骤S155：根据多个第二特征点的第三图像位置，以及与多个第二特征点对应的像素点在非参考图像中的第一图像位置，确定非参考图像对应的重投影子误差。

在一种可能的实现方式中，可以将多个第二特征点的第三图像位置与对应像素点的第一图像位置之间的距离之和，确定为该非参考图像对应的重投影子误差。

在一种可能的实现方式中，还可通过公式(20)确定非参考图像对应的重投影子误差H₆：

代表第j个第二特征点对应的第三图像位置，

通过上述公式(19)计算得到，‖ ‖²代表范数的平方。该公式(20)代表将多个第二特征点的第三图像位置与对应的像素点的第一图像位置之间差值的范数的平方值之和，确定为重投影子误差。

应理解的是，针对各个非参考图像，均可按照步骤S154至步骤S155的方式，得到各个非参考图像对应的重投影子误差。

步骤S156：根据多个非参考图像对应的重投影子误差，确定非参考图像传感器的重投影误差。

在一种可能的实现方式中，根据多个非参考图像对应的重投影子误差，确定非参考图像传感器的重投影误差，可包括：可将多个非参考图像对应的重投影子误差之和，确定为非参考图像传感器的重投影误差F_3,2，如公式(21)：

其中，E^*代表多个非参考图像的数量，e^*代表多个非参考图像中的第e^*个非参考图像，

代表第e^*个非参考图像的重投影子误差；或还可将多个非参考图像对应的重投影子误差的平均值，确定为非参考图像传感器的重投影误差，对此本公开实施例不作限制。

在一种可能的实现方式中，可参照上述步骤S151至步骤S153确定参考图像传感器的重投影误差，也即，参考图像传感器的重投影误差可表示为F_3,1，在此不作赘述。

基于此，在图像传感器包括一个参考图像传感器和至少一个非参考图像传感器的情况下，图像传感器的重投影误差可表示为公式(22)：

其中，W^*代表多个非参考图像传感器的数量，w^*代表多个非参考图像传感器中的第w^*个非参考图像传感器，

代表第w^*个非参考图像传感器的重投影误差。

在本公开实施例中，能够有效地得到多个图像传感器的重投影误差，并将多个图像传感器之间的位姿变换关系，引入对多个图像传感器的联合标定中，这相当于引入了多个图像传感器之间的约束关系，有利于提升多个图像传感器之间联合标定的全局一致性，提高多个图像传感器之间联合标定的精度。

在一种可能的实现方式中，在步骤S16中，根据第一距离误差、第二距离误差及重投影误差，对雷达传感器和图像传感器进行标定，得到雷达传感器的第一标定结果及图像传感器的第二标定结果，包括：

步骤S161：根据第一距离误差、第二距离误差及重投影误差，对雷达传感器的雷达位姿、图像传感器的相机参数以及第二特征点集进行优化。

其中，可采用本领域已知的优化算法，例如：捆绑调整(Bundle Adjustment，BA)算法，实现根据第一距离误差、第二距离误差及重投影误差，优化雷达传感器的雷达位姿、图像传感器的相机参数以及第二特征点集，对此本公开实施例不作限制。

应理解的是，第二点云是通过多个场景图像构建的，对第二特征点集进行优化，能够降低第二特征点集与目标场景对应的实际点云之间的误差，以提高传感器标定的精度。

步骤S161：根据优化后的雷达位姿、优化后的相机参数以及优化后的第二特征点集，重新执行传感器标定方法，至雷达传感器的雷达位姿与图像传感器的相机参数分别收敛，得到雷达传感器的第一标定结果及图像传感器的第二标定结果，其中，第一标定结果包括收敛的雷达位姿，第二标定结果包括收敛的相机参数。

其中，根据优化后的雷达位姿、优化后的相机参数以及优化后的第二特征点集，重新执行传感器标定方法，可参照上述本公开实施例的传感器标定方法的步骤，在此不做赘述。

应理解的是，上述传感器标定方法可执行多次，每次可得到新的雷达位姿与相机参数。在一种可能的实现方式中，可以在雷达传感器的雷达位姿与图像传感器的相机参数分别收敛的情况下，将收敛的雷达位姿与相机参数，分别作为雷达传感器的第一标定结果及图像传感器的第二标定结果；或者，还可以在传感器标定方法的执行次数，满足预设的迭代次数(如3次)的情况下，将最后一次传感器标定方法的执行结果(即雷达位姿与相机参数)，分别作为雷达传感器的第一标定结果及图像传感器的第二标定结果。

在本公开实施例中，通过迭代执行上述传感器标定方法，能够使雷达传感器与图像传感器各自的标定结果更准确。

图2示出根据本公开实施例的传感器标定方法的示意图。如图2所示，所述传感器标定方法包括：

步骤1：获取智能车辆上安装的激光雷达采集的多帧雷达点云。

步骤2：获取基于场景图像构建的SFM点云，其中，场景图像包括智能车辆上安装的至少一个相机采集的目标场景的多个场景图像。

步骤3：提取雷达点云中的特征点。

针对单帧雷达点云，计算每个激光发射点的水平夹角和竖直夹角，根据水平夹角和竖直夹角，对单帧雷达点云进行有序排列。其中，可参照上述公式(1)和公式(2)计算每个激光发射点的水平夹角和竖直夹角，在此不做赘述。

在得到水平夹角与竖直夹角后，可按照竖直方向的夹角大小，将每个激光发射点的竖直夹角分配到该激光发射点的不同线束上，按照不同线束的竖直夹角，对雷达点云进行排序，实现了雷达点云在竖直方向上的排列；进而根据水平夹角的大小进行排序，实现雷达点云的水平排列。此时，所有激光发射点的相对位置固定，即获得有序的点云序列。当获得雷达点云的序列关系(排列关系)后，可以参照上述公式(3)，实现根据相邻点集求取当前点的曲率，其中相邻点集包括与当前点临近的多个点。

其中，在计算曲率的过程中，可以选择当前点左右临近的五个点作为当前点的相邻点集。获取每个点的曲率后，根据曲率的大小进行排序，曲率较大点认为是边缘点，曲率较小认为是平面点。

步骤4：提取SFM点云中的特征点。

在提取SFM点云的特征点的过程中，可建立KD-tree并用其管理SFM点云，并在KD-tree中搜索每个点的最近邻10个点，分别计算每个点与最近邻10个点之间的距离，若距离均小于一定的阈值，则将该点作为特征点，否则该点不是特征点。若当前点为特征点，则根据与该特征点最临近的10个点判断当前点的特征属性，也即将该特征点划分为边缘点或者平面点。

其中，边缘点的判断方式包括：计算10个最近邻点构成的相邻点集的协方差矩阵，通过SVD分解协方差矩阵获得多维特征值和多维特征向量。当某一维特征值远大于其他维特征值时，则认为当前点是边缘点。平面点的判断方式包括：根据最近邻的10个点，拟合平面，并求解平面的法向量，若点集中每个点与法向量相乘近似等于0，则认为当前点为平面点。

步骤5：特征点匹配，包括雷达点云与雷达点云之间的特征点匹配，以及雷达点云与SFM点云之间的特征点匹配。

其中，雷达点云与雷达点云之间的特征点匹配，可参照上述本公开实施例中得到第二特征点对的过程，在此不做赘述。

在一种可能的实现方式中，可根据初始的雷达位姿将所有雷达点云变化到全局坐标系下，即所有雷达点云为相同坐标系。然后，提取当前帧雷达点云的边缘点、平面点，搜寻与相邻帧雷达点云距离最接近的匹配特征点。在匹配的过程中，计算当前帧雷达点云中边缘点到相邻帧雷达点云中边缘点所在线的距离，和当前帧雷达点云中平面点到相邻帧雷达点云中边缘点所在平面的距离，若距离小于一定的阈值(如1m)，则确定两帧雷达点云中两点匹配。此时可构造当前帧雷达点云到相邻帧雷达点云中匹配特征点集的点线、点面的距离误差函数，优化变量为当前激光雷达的雷达位姿。

其中，雷达点云与SFM点云之间的特征点匹配，可参照上述本公开实施例中得到第一特征点对的过程，在此不做赘述。

应理解的是，激光雷达和相机之间的相对位姿是不变的，因此可采用广义相机模型的思想，将激光雷达引入广义相机模型中，例如在有四个相机一个激光雷达的多传感器系统中，选取一个参考相机(参考图像传感器)，其余相机(非参考图像传感器)、激光雷达，不进行单独优化，其中，广义相机模型是指相机与相机之间刚性固定，相对位姿不发生改变。

通过历史标定获得其余相机、激光雷达分别与参考相机之间的位姿变换关系，再采用参考相机与全局坐标系的位姿变换关系，获得其余相机、激光雷达在全局坐标系下的位姿。这种间接优化的过程确保在智能车辆的停车位置处，多传感器之间的相对位姿不变，不会因相对位姿变化而改变优化模型(也即联合优化函数)。

步骤6：根据特征匹配的结果，构建联合优化函数。

联合优化函数主要由三部分构成：重投影误差函数、SFM点云与雷达点云的距离误差函数，以及不同帧雷达点云之间的距离误差函数。如上所述，可采用广义相机模型的方法进行重投影误差优化，重投影误差优化时可优化参考相机到全局坐标系的位姿关系，其它传感器间接优化到参考相机的标定位姿关系，再优化参考相机到全局坐标系的位姿关系。通过该方式，可以保证多个传感器之间相对位姿为刚性关系，有利于多个传感器之间联合优化的全局一致性，提高传感器标定精度。

其中，联合优化函数可表示为公式(23)。

其中，

代表重投影误差函数，参见公式(24)。

其中，

代表参考相机的重投影误差函数，参见公式(25)。

其中，j代表SFM点云中第j个特征点，j∈J，E^*代表参考相机采集的场景图像的数量，e∈E，e代表参考相机拍摄的第e个场景图像，x_j,e代表SFM点云中第j个特征点对应的像素点在第e个场景图像中的二维坐标，R和t代表参考相机的相机外参，K代表参考相机的相机内参，

代表SFM点云中第j个特征点在全局坐标系中的三维坐标，

代表将SFM点云中第j个特征点投影至参考相机的图像坐标系中的投影点的二维坐标。

其中，

为其它相机(非参考相机)的重投影误差函数，参见公式(26)：

其中，E^*代表非参考相机采集的场景图像的数量，e^*∈E^*，e^*代表非参考相机采集的第e^*个场景图像(即非参考图像)，R_cf和t_cf代表非参考相机与参考相机之间的位姿变换关系，

代表SFM点云中第j个特征点对应的像素点在非参考相机拍摄的第e^*个场景图像中的二维坐标；

代表将SFM点云中第j个特征点，根据K,R,t投影至参考相机的图像坐标系中，再根据R_cf,t_cf变换非参考相机的图像坐标系中的投影点的二维坐标。

其中，

代表SFM点云与雷达点云的距离误差函数，参见公式(27)：

其中，

代表SFM点云中特征点到雷达点云中匹配特征点所在直线的距离误差函数，参见公式(28)：

其中，K代表雷达点云的集合，k代表第k个雷达点云，

和

代表采集第k个雷达点云时的激光雷达与参考相机的位姿变换关系，

代表SFM点云中第j个特征点在全局坐标系中的三维坐标，

和

代表第k个雷达点云中与

匹配的两个匹配特征点在雷达坐标系中的坐标，

和

可表征两个匹配特征点的所在直线，

代表P-范数的平方，

其中，

代表分别采用上述公式(4)和公式(5)，或采用公式(6)，实现根据激光雷达与参考相机的位姿变换关系以及参考相机的相机坐标系与全局坐标系的坐标变换关系，将雷达点云中匹配特征点以及SFM点云中特征点变换至同一坐标系中(如相机的相机坐标系)，在同一坐标系中采用上述公式(7)或(8)确定SFM点云中特征点到雷达点云中匹配特征点所在直线的垂直距离D₁。

其中，

表示SFM点云中特征点到雷达点云中匹配特征点所在平面的距离误差函数，参见公式(29)：

其中，

代表第k个雷达点云中与

匹配的三个匹配特征点在雷达坐标系中的坐标，

可表征三个匹配特征点的所在平面，

代表P-范数的平方，

其中，

代表采用上述公式(4)和公式(5)，或采用公式(6)，实现根据激光雷达与参考相机的位姿变换关系以及参考相机的相机坐标系与全局坐标系的坐标变换关系，将雷达点云中匹配特征点以及SFM点云中特征点变换至同一坐标系中(如相机的相机坐标系)，在同一坐标系中例如采用上述公式(9)或(10)确定SFM点云中特征点到雷达点云中匹配特征点所在平面的垂直距离D₂。

其中，

代表不同帧雷达点云之间的距离误差函数，参见公式(30)：

其中，

代表当前帧雷达点云中特征点到相邻帧雷达点云中匹配特征点所在直线的距离误差函数，参见公式(31)：

其中，U代表任一雷达点云中特征点的数量，u代表任一雷达点云中第u个特征点，

代表采集第k帧雷达点云时的雷达位姿，还可代表任意两帧雷达点云之间的第k个相对位姿，k₀代表当前帧雷达点云，k₁代表相邻帧雷达点云，k₀和k₁∈k，

代表当前帧雷电点云中的第u个特征点在雷达坐标系中的坐标，

代表相邻帧雷达点云中与当前帧特征点匹配的两个匹配特征点，

可表征匹配特征点所在直线，

代表P-范数的平方，

其中，

代表根据采集各帧雷达点云的雷达位姿或任意两帧雷达点云之间的相对位姿，将当前帧雷达点云与相邻帧雷达点云的特征点变换至同一坐标系中(如全局坐标系)，在同一坐标系中例如采用上述公式(7)或(8)确定当前帧雷达点云中特征点到相邻帧雷达点云中匹配特征点所在直线的垂直距离D₁。

其中，

为当前帧雷达点云中特征点到相邻帧雷达点云中特征点所在平面的距离误差函数，参见公式(32)

其中，

代表相邻帧雷达点云中与当前帧特征点匹配的三个匹配特征点，

可表征三个匹配特征点所在平面,

代表P-范数的平方，

其中，

代表根据采集各帧雷达点云的雷达位姿或任意两帧雷达点云之间的相对位姿，将当前帧雷达点云与相邻帧雷达点云的特征点变换至同一坐标系中(如全局坐标系)，在同一坐标系中例如采用上述公式(9)或(10)确定当前帧雷达点云中特征点到相邻帧雷达点云中匹配特征点所在平面的垂直距离D₂。

应理解的是，上述联合误差函数(23)同时包含了重投影误差、SFM点云与雷达点云之间的距离误差、不同帧激光雷达之间的距离误差，优化变量包含SFM点云、相机内参、相机位姿和雷达位姿。

其中，可以使用捆绑算法进行优化求解上述联合误差函数的最小值，优化后的SFM点云、相机内参、相机位姿和雷达位姿都将发生变化，因此，在一次优化完成后，可根据新生成的SFM点云、相机内参、相机位姿和雷达位姿，按照上述传感器标定方法再次构造联合优化函数求解；这一迭代过程可重复若干次，直到所有传感器的位姿不再变化(收敛)或者满足迭代次数，得到激光雷达与相机的标定结果。

步骤7，判断是否满足迭代次数或是否收敛，在满足迭代次数或收敛的情况下，得到各个传感器的标定结果，以及三维地图，其中，三维地图是融合上述优化后的SFM点云与雷达点云得到的三维虚拟地图。

根据本公开的实施例，能够构建统一标定框架，来对多个传感器进行联合标定；能够降低多传感器因标定物引入的标定误差，是一种全自动的传感器标定方法，可满足经常性标定的需要。

根据本公开的实施例，可应用于无人驾驶车辆、高精度地图构建、自动驾驶高精度地图构建，基于图像的大规模场景三维重建等场景中的多传感器联合标定；通过构造联合优化函数，使得不同源数、同源数据进行紧耦合一致性优化，从而获得精准地标定结果，同时也可以直接用于大规模道路的图像-激光联合标定中。

根据本公开的实施例，提出了图像稀疏重建点云与激光雷达点云特征提取的方法，提出将激光雷达信息纳入图像三维重建流程，通过构造激光点和图像稀疏重建点之间的几何约束，将雷达-雷达、雷达-相机、相机-相机这三类约束纳入统一优化框架。

可以理解，本公开提及的上述各个方法实施例，在不违背原理逻辑的情况下，均可以彼此相互结合形成结合后的实施例，限于篇幅，本公开不再赘述。本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

此外，本公开还提供了传感器标定装置、电子设备、计算机可读存储介质、程序，上述均可用来实现本公开提供的任一种传感器标定方法，相应技术方案和描述和参见方法部分的相应记载，不再赘述。

图3示出根据本公开实施例的传感器标定装置的框图，如图3所示，所述装置包括：

采集模块，用于通过智能设备上设置的图像传感器及雷达传感器，分别采集所述智能设备所在目标场景的多个场景图像及多个第一点云；点云构建模块，用于根据所述多个场景图像，构建所述目标场景在全局坐标系下的第二点云；第一距离误差确定模块，用于根据所述第一点云的第一特征点集与所述第二点云的第二特征点集，确定所述图像传感器与所述雷达传感器之间的第一距离误差；第二距离误差确定模块，用于根据所述多个第一特征点集，确定所述雷达传感器的第二距离误差；重投影误差确定模块，用于根据所述第二特征点集在所述全局坐标系下的第一全局位置，以及与所述第二特征点集对应的像素点在所述场景图像中的第一图像位置，确定所述图像传感器的重投影误差；标定模块，用于根据所述第一距离误差、所述第二距离误差及所述重投影误差，对所述雷达传感器和所述图像传感器进行标定，得到所述雷达传感器的第一标定结果及所述图像传感器的第二标定结果。

在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

本公开实施例还提出一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。计算机可读存储介质可以是易失性或非易失性计算机可读存储介质。

本公开实施例还提出一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行上述方法。

本公开实施例还提供了一种计算机程序产品，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在电子设备的处理器中运行时，所述电子设备中的处理器执行上述方法。

电子设备可以被提供为智能设备、终端设备、服务器或其它形态的设备。

图4示出根据本公开实施例的一种电子设备800的框图。例如，电子设备800可以是智能设备，或移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等终端设备。

参照图4，电子设备800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。

处理组件802通常控制电子设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。

存储器804被配置为存储各种类型的数据以支持在电子设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件806为电子设备800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为电子设备800生成、管理和分配电力相关联的组件。

多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当电子设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当电子设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。

I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件814包括一个或多个传感器，用于为电子设备800提供各个方面的状态评估。例如，传感器组件814可以检测到电子设备800的打开/关闭状态，组件的相对定位，例如所述组件为电子设备800的显示器和小键盘，传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变，用户与电子设备800接触的存在或不存在，电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如互补金属氧化物半导体(CMOS)或电荷耦合装置(CCD)图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络，如无线网络(WiFi)，第二代移动通信技术(2G)或第三代移动通信技术(3G)，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，电子设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器804，上述计算机程序指令可由电子设备800的处理器820执行以完成上述方法。

图5示出根据本公开实施例的一种电子设备1900的框图。例如，电子设备1900可以被提供为一服务器。参照图5，电子设备1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述方法。

电子设备1900还可以包括一个电源组件1926被配置为执行电子设备1900的电源管理，一个有线或无线网络接口1950被配置为将电子设备1900连接到网络，和一个输入输出(I/O)接口1958。电子设备1900可以操作基于存储在存储器1932的操作系统，例如微软服务器操作系统(Windows Server^TM)，苹果公司推出的基于图形用户界面操作系统(Mac OSX^TM)，多用户多进程的计算机操作系统(Unix^TM),自由和开放原代码的类Unix操作系统(Linux^TM)，开放原代码的类Unix操作系统(FreeBSD^TM)或类似。

在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器1932，上述计算机程序指令可由电子设备1900的处理组件1922执行以完成上述方法。

本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是(但不限于)电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。

这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims

1.一种传感器标定方法，其特征在于，包括：

通过智能设备上设置的图像传感器及雷达传感器，分别采集所述智能设备所在目标场景的多个场景图像及多个第一点云；

根据所述多个场景图像，构建所述目标场景在全局坐标系下的第二点云；

根据所述第一点云的第一特征点集与所述第二点云的第二特征点集，确定所述图像传感器与所述雷达传感器之间的第一距离误差；

根据所述多个第一特征点集，确定所述雷达传感器的第二距离误差；

根据所述第二特征点集在所述全局坐标系下的第一全局位置，以及与所述第二特征点集对应的像素点在所述场景图像中的第一图像位置，确定所述图像传感器的重投影误差；

根据所述第一距离误差、所述第二距离误差及所述重投影误差，对所述雷达传感器和所述图像传感器进行标定，得到所述雷达传感器的第一标定结果及所述图像传感器的第二标定结果；

其中，所述图像传感器包括多个，多个图像传感器包括一个参考图像传感器和至少一个非参考图像传感器，所述多个场景图像包括：所述参考图像传感器采集的多个参考图像，以及所述非参考图像传感器采集的多个非参考图像，

其中，根据所述第二特征点集在所述全局坐标系下的第一全局位置，以及在所述多个场景图像中的与所述第二特征点集对应的像素点的第一图像位置，确定所述图像传感器的重投影误差，包括：

针对任一非参考图像，根据所述第二特征点集中任意一个第二特征点的第一全局位置、所述参考图像传感器的相机参数，以及所述非参考图像传感器与所述参考图像传感器之间的位姿变换关系，确定所述第二特征点在所述非参考图像中的第三图像位置；

根据多个第二特征点的第三图像位置，以及与所述第二特征点对应的像素点在所述非参考图像中的第四图像位置，确定所述非参考图像对应的重投影子误差；

根据多个非参考图像对应的重投影子误差，确定所述非参考图像传感器的重投影误差。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对所述多个第一点云分别进行特征点提取，确定各个第一点云各自的第一特征点集；

对所述第二点云进行特征点提取，确定所述第二点云的第二特征点集；

其中，所述根据所述第一点云的第一特征点集与所述第二点云的第二特征点集，确定所述图像传感器与所述雷达传感器之间的第一距离误差，包括：

针对任意一个第一特征点集，根据所述第一特征点集中的第一特征点与所述第二特征点集中的第二特征点之间的距离，确定出相匹配的第一特征点对，每个第一特征点对包括一个第一特征点和一个第二特征点；

根据相匹配的多个第一特征点对，确定所述第一特征点集与所述第二特征点集之间的第一子误差；

根据多个第一子误差，确定所述图像传感器与所述雷达传感器之间的第一距离误差。

3.根据权利要求2所述的方法，其特征在于，所述对所述多个第一点云分别进行特征点提取，确定各个第一点云各自的第一特征点集，包括：

针对任意一个第一点云，根据所述雷达传感器的各激光发射点的相对位置，确定所述第一点云的点云序列；

根据所述第一点云的点云序列，确定出与所述第一点云中任意一个第一数据点对应的多个第一相邻点；

根据所述第一数据点的坐标与所述多个第一相邻点的坐标，确定所述第一数据点对应的曲率；

根据所述第一点云中多个第一数据点的曲率，确定所述第一点云中的第一特征点集。

4.根据权利要求3所述的方法，其特征在于，所述根据所述第一点云中多个第一数据点的曲率，确定所述第一点云中的第一特征点集，包括：

按照所述多个第一数据点的曲率，对所述多个第一数据点进行排序，得到排序结果；

按照从大到小的顺序，选取所述排序结果中的n个第一数据点作为n个边缘点；和/或，

按照从小到大的顺序，选取所述排序结果中的m个第一数据点作为m个平面点；

其中，n和m为正整数，所述第一特征点集包括所述边缘点和/或所述平面点。

5.根据权利要求2所述的方法，其特征在于，所述对所述第二点云进行特征点提取，确定所述第二点云的第二特征点集，包括：

针对所述第二点云中的任意一个第二数据点，从所述第二点云中确定出与所述第二数据点对应的多个第二相邻点；

根据所述第二数据点的坐标与所述多个第二相邻点的坐标，分别确定所述第二数据点与各个第二相邻点之间的距离；

在所述第二数据点与各个第二相邻点之间的距离均小于第一距离阈值的情况下，将所述第二数据点确定为所述第二特征点集中的第二特征点。

6.根据权利要求5所述的方法，其特征在于，所述第二特征点集包括多个第二特征点，所述方法还包括：确定所述多个第二特征点中的边缘点和/或平面点；

其中，所述确定所述多个第二特征点中的边缘点和/或平面点，包括：

针对任意一个第二特征点，确定与所述第二特征点对应的多个第二相邻点的协方差矩阵，并分解所述协方差矩阵，得到多维特征值；

在所述多维特征值中的任意一维特征值与各维特征值之间的差异，存在超过差异阈值的情况下，确定所述第二特征点为边缘点。

7.根据权利要求6所述的方法，其特征在于，所述确定所述多个第二特征点中的边缘点和/或平面点，还包括：

针对任意一个第二特征点，根据与所述第二特征点对应的多个第二相邻点，拟合平面方程，并确定所述平面方程的法向量；

在所述与所述第二特征点对应的多个第二相邻点，与所述法向量的乘积均处于阈值区间内的情况下，确定所述第二特征点为平面点。

8.根据权利要求2所述的方法，其特征在于，针对任意一个第一特征点集，根据所述第一特征点集中的第一特征点与所述第二特征点集中的第二特征点之间的距离，确定出相匹配的第一特征点对，包括：

针对任意一个第一特征点集，根据所述雷达传感器与所述图像传感器的位姿变换关系，以及所述图像传感器的相机坐标系与所述全局坐标系的坐标变换关系，确定所述第一特征点集中的第一特征点与所述第二特征点集中第二特征点之间的距离；

将距离小于第二距离阈值所对应的第一特征点与第二特征点，确定为相匹配的第一特征点对。

9.根据权利要求8所述的方法，其特征在于，针对任意一个第一特征点集，根据所述雷达传感器到所述图像传感器的位姿变换关系，以及所述图像传感器的相机坐标系与所述全局坐标系的坐标变换关系，确定所述第一特征点集中的第一特征点与所述第二特征点集中的第二特征点之间的距离，包括：

针对任意一个第一特征点集，根据所述雷达传感器与所述图像传感器的位姿变换关系，确定所述第一特征点集中的第一特征点在所述相机坐标系下的第一位置；

根据所述相机坐标系与所述全局坐标系的坐标变换关系，确定所述第二特征点集中的第二特征点在所述相机坐标系下的第二位置；

根据所述第一位置与所述第二位置，确定第一特征点集中的第一特征点与所述第二特征点集中的第二特征点之间的距离。

10.根据权利要求8所述的方法，其特征在于，针对任意一个第一特征点集，根据所述雷达传感器到所述图像传感器的位姿变换关系，以及所述图像传感器的相机坐标系与所述全局坐标系的坐标变换关系，确定所述第一特征点集中的第一特征点与所述第二特征点集中的第二特征点之间的距离，还包括：

针对任意一个第一特征点集，根据所述雷达传感器到所述图像传感器的位姿变换关系，以及所述相机坐标系与所述全局坐标系的坐标变换关系，确定所述第一特征点集中的第一特征点在所述全局坐标系下的第二全局位置；

根据所述第二全局位置与所述第二特征点集中的第二特征点的第一全局位置，确定所述第一特征点集中的第一特征点与所述第二特征点集中的第二特征点之间的距离。

11.根据权利要求2所述的方法，其特征在于，所述第一特征点对包括边缘点对和/或平面点对，

其中，根据相匹配的多个第一特征点对，确定所述第一特征点集与所述第二特征点集之间的第一子误差，包括：

针对任意一个第一特征点对，在所述第一特征点对为边缘点对的情况下，确定所述第一特征点对中的第二特征点，到所述第一特征点对中的第一特征点所在直线的第一垂直距离；

在所述第一特征点对为平面点对的情况下，确定所述第一特征点对中的第二特征点，到所述第一特征点对中的第一特征点所在平面的第二垂直距离；

根据多个第一垂直距离和/或多个第二垂直距离，确定所述第一子误差。

12.根据权利要求1所述的方法，其特征在于，所述根据所述多个第一特征点集，确定所述雷达传感器的第二距离误差，包括：

根据第三特征点集中的第三特征点与第四特征点集中的第四特征点之间的距离，确定出相匹配的第二特征点对，其中，所述第三特征点集和所述第四特征点集为任意两个第一特征点集，每个第二特征点对包括一个第三特征点和一个第四特征点；

根据相匹配的多个第二特征点对，确定所述第三特征点集与所述第四特征点集之间的第二子误差；

根据多个第二子误差，确定所述雷达传感器的第二距离误差。

13.根据权利要求12所述的方法，其特征在于，所述根据第三特征点集中的第三特征点与第四特征点集中的第四特征点之间的距离，确定出相匹配的第二特征点对，包括：

根据所述雷达传感器在采集各个第一点云时的雷达位姿，确定所述第三特征点集中的第三特征点与第四特征点集中的第四特征点之间的距离；

将距离小于第三距离阈值所对应的第三特征点和第四特征点，确定为所述相匹配的第二特征点对。

14.根据权利要求13所述的方法，其特征在于，根据所述雷达传感器在采集各个第一点云时的雷达位姿，确定所述第三特征点集中的第三特征点与第四特征点集中的第四特征点之间的距离，包括：

根据所述雷达传感器在采集各个第一点云时的雷达位姿，确定所述第三特征点集中的第三特征点在所述全局坐标系下的第三全局位置，以及所述第四特征点集中的第四特征点在所述全局坐标系下的第四全局位置；

根据所述第三全局位置与所述第四全局位置，确定所述第三特征点集中的第三特征点与第四特征点集中的第四特征点之间的距离。

15.根据权利要求12所述的方法，其特征在于，所述第二特征点对包括边缘点对和/或平面点对，

所述根据相匹配的多个第二特征点对，确定所述第三特征点集与所述第四特征点集之间的第二子误差，包括：

针对任意一个第二特征点对，在所述第二特征点对为边缘点对的情况下，确定所述第二特征点对中的第三特征点，到所述第二特征点对中的第四特征点所在直线的第三垂直距离；

在所述第二特征点对为平面点对的情况下，确定所述第二特征点对中的第三特征点，到所述第一特征点对中的第四特征点所在平面的第四垂直距离；

根据多个第三垂直距离和/或多个第四垂直距离，确定所述第二子误差。

16.根据权利要求1所述的方法，其特征在于，根据所述第二特征点集在所述全局坐标系下的第一全局位置，以及与所述第二特征点集对应的像素点在所述多个场景图像中的第一图像位置，确定所述图像传感器的重投影误差，包括：

针对任意一个场景图像，根据所述第二特征点集中任意一个第二特征点的第一全局位置以及所述图像传感器的相机参数，确定所述第二特征点在所述场景图像中的第二图像位置；

根据多个第二特征点的第二图像位置，以及与所述多个第二特征点对应的像素点在所述场景图像中的第一图像位置，确定所述场景图像对应的重投影子误差；

根据多个场景图像对应的重投影子误差，确定所述图像传感器的重投影误差。

17.根据权利要求1所述的方法，其特征在于，根据所述第一距离误差、所述第二距离误差及所述重投影误差，对所述雷达传感器和所述图像传感器进行标定，得到所述雷达传感器的第一标定结果及所述图像传感器的第二标定结果，包括：

根据所述第一距离误差、所述第二距离误差及所述重投影误差，对所述雷达传感器的雷达位姿、所述图像传感器的相机参数以及所述第二特征点集进行优化；

根据优化后的雷达位姿、优化后的相机参数以及优化后的第二特征点集，重新执行所述传感器标定方法，至所述雷达传感器的雷达位姿与所述图像传感器的相机参数分别收敛，得到所述雷达传感器的第一标定结果及所述图像传感器的第二标定结果，其中，所述第一标定结果包括收敛的雷达位姿，所述第二标定结果包括收敛的相机参数。

18.根据权利要求1-17任一项所述的方法，其特征在于，所述智能设备包括智能车辆、智能机器人、智能机械臂中的任意一种；所述雷达传感器包括激光雷达、毫米波雷达中的任意一种；所述图像传感器包括单目RGB相机、双目RGB相机、飞行时间TOF相机、红外相机中的至少一种；所述图像传感器的相机参数包括相机内参和相机位姿。

19.一种传感器标定装置，其特征在于，包括：

采集模块，用于通过智能设备上设置的图像传感器及雷达传感器，分别采集所述智能设备所在目标场景的多个场景图像及多个第一点云；

点云构建模块，用于根据所述多个场景图像，构建所述目标场景在全局坐标系下的第二点云；

第一距离误差确定模块，用于根据所述第一点云的第一特征点集与所述第二点云的第二特征点集，确定所述图像传感器与所述雷达传感器之间的第一距离误差；

第二距离误差确定模块，用于根据所述多个第一特征点集，确定所述雷达传感器的第二距离误差；

重投影误差确定模块，用于根据所述第二特征点集在所述全局坐标系下的第一全局位置，以及与所述第二特征点集对应的像素点在所述场景图像中的第一图像位置，确定所述图像传感器的重投影误差；

标定模块，用于根据所述第一距离误差、所述第二距离误差及所述重投影误差，对所述雷达传感器和所述图像传感器进行标定，得到所述雷达传感器的第一标定结果及所述图像传感器的第二标定结果；

其中，所述图像传感器包括多个，多个图像传感器包括一个参考图像传感器和至少一个非参考图像传感器，所述多个场景图像包括：所述参考图像传感器采集的多个参考图像，以及所述非参考图像传感器采集的多个非参考图像，其中，重投影误差确定模块，包括：非参考图像位置确定子模块，用于针对任一非参考图像，根据所述第二特征点集中任意一个第二特征点的第一全局位置、所述参考图像传感器的相机参数，以及所述非参考图像传感器与所述参考图像传感器之间的位姿变换关系，确定所述第二特征点在所述非参考图像中的第三图像位置；第二重投影子误差确定子模块，用于根据多个第二特征点的第三图像位置，以及与所述第二特征点对应的像素点在所述非参考图像中的第四图像位置，确定所述非参考图像对应的重投影子误差；第二重投影误差确定子模块，用于根据多个非参考图像对应的重投影子误差，确定所述非参考图像传感器的重投影误差。

20.一种电子设备，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为调用所述存储器存储的指令，以执行权利要求1至18中任意一项所述的方法。

21.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至18中任意一项所述的方法。