CN117611687A - 传感器外参标定及模型的训练方法、装置、设备和介质 - Google Patents

Abstract

本公开提供了一种传感器外参标定方法、装置、设备和介质，涉及自动驾驶技术领域。具体实现方案为：在确定目标载体满足外参标定条件的情况下，获取目标相机在第一时刻所采集的目标图像帧，以及目标激光雷达在第二时刻所采集的目标点云；对目标点云进行坐标系转换，确定目标点云在转换雷达坐标系中对应的转换点云；对目标图像帧进行特征提取，获取图像特征图，以及对转换点云对应的深度图进行特征提取，获取点云特征图；根据图像特征图以及点云特征图，确定目标相机和目标激光雷达之间的目标外参。本公开提高了对激光雷达‑相机之间外参进行标定的灵活性以及实时性。

Description

传感器外参标定及模型的训练方法、装置、设备和介质

技术领域

本公开涉及图像处理技术领域，具体涉及自动驾驶技术领域，特别涉及一种传感器外参标定及模型的训练方法、装置、设备和介质。

背景技术

在智能驾驶及机器视觉领域，激光雷达和相机具备不可或缺的作用。激光雷达测距精度高，但分辨率较低，缺乏颜色和纹理信息；相机分辨率高，同时可以获取环境的颜色和纹理信息，但测距精度低。为了结合激光雷达和相机各自的优势，需要标定激光雷达和相机之间的外参。

目前主流的标定方法通常需要利用特定的标定物(如棋盘格或二维码等)在特定的标定空间中才能实现。

发明内容

本公开提供了一种用于提高激光雷达-相机之间外参标定的灵活性及实时性的传感器外参标定及模型的训练方法、装置、设备和介质。

根据本公开的一方面，提供了一种传感器外参标定方法，包括：

在确定目标载体满足外参标定条件的情况下，获取目标相机在第一时刻所采集的目标图像帧，以及目标激光雷达在第二时刻所采集的目标点云；其中，目标相机和目标激光雷达搭载于所述目标载体上；

对所述目标点云进行坐标系转换，确定所述目标点云在转换雷达坐标系中对应的转换点云；其中，所述转换雷达坐标系表示在所述第一时刻时所述目标激光雷达对应的雷达坐标系；

对所述目标图像帧进行特征提取，获取图像特征图，以及对所述转换点云对应的深度图进行特征提取，获取点云特征图；

根据所述图像特征图以及所述点云特征图，确定所述目标相机和所述目标激光雷达之间的目标外参。

根据本公开的另一方面，提供了一种传感器外参标定模型的训练方法，包括：

获取目标相机在第一时刻所采集的样本图像帧，以及目标激光雷达在第二时刻所采集的样本点云；其中，目标相机和目标激光雷达搭载于目标载体上；

对所述样本点云进行坐标系转换，确定所述样本点云在转换雷达坐标系中对应的转换点云；其中，所述转换雷达坐标系表示在所述第一时刻时所述目标激光雷达对应的雷达坐标系；

通过待训练模型对所述样本图像帧进行特征提取，获取样本图像特征图，以及对所述转换点云对应的深度图进行特征提取，获取样本点云特征图；

通过所述待训练模型根据所述样本图像特征图以及所述样本点云特征图，确定所述目标相机和所述目标激光雷达之间的预测外参；

根据所述预测外参对所述待训练模型进行训练，生成传感器外参标定模型。

根据本公开的另一方面，提供了一种传感器外参标定装置，包括：

目标数据获取模块，用于在确定目标载体满足外参标定条件的情况下，获取目标相机在第一时刻所采集的目标图像帧，以及目标激光雷达在第二时刻所采集的目标点云；其中，目标相机和目标激光雷达搭载于所述目标载体上；

第一坐标系转换模块，用于对所述目标点云进行坐标系转换，确定所述目标点云在转换雷达坐标系中对应的转换点云；其中，所述转换雷达坐标系表示在所述第一时刻时所述目标激光雷达对应的雷达坐标系；

第一特征提取模块，用于对所述目标图像帧进行特征提取，获取图像特征图，以及对所述转换点云对应的深度图进行特征提取，获取点云特征图；

目标外参确定模块，用于根据所述图像特征图以及所述点云特征图，确定所述目标相机和所述目标激光雷达之间的目标外参。

根据本公开的另一方面，提供了一种传感器外参标定模型的训练装置，包括：

样本数据获取模块，用于获取目标相机在第一时刻所采集的样本图像帧，以及目标激光雷达在第二时刻所采集的样本点云；其中，目标相机和目标激光雷达搭载于目标载体上；

第二坐标系转换模块，用于对所述样本点云进行坐标系转换，确定所述样本点云在转换雷达坐标系中对应的转换点云；其中，所述转换雷达坐标系表示在所述第一时刻时所述目标激光雷达对应的雷达坐标系；

第二特征提取模块，用于通过待训练模型对所述样本图像帧进行特征提取，获取样本图像特征图，以及对所述转换点云对应的深度图进行特征提取，获取样本点云特征图；

预测外参确定模块，用于通过所述待训练模型根据所述样本图像特征图以及所述样本点云特征图，确定所述目标相机和所述目标激光雷达之间的预测外参；

模型训练模块，用于根据所述预测外参对所述待训练模型进行训练，生成传感器外参标定模型。

根据本公开的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与至少一个处理器通信连接的存储器；其中，

存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开中任一项的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开中任一项的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行本公开中任一项的方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开实施例公开的一些传感器外参标定方法的流程图；

图2是根据本公开实施例公开的另一些传感器外参标定方法的流程图；

图3是根据本公开实施例公开的一些外参标定条件校验方法的流程图；

图4是根据本公开实施例公开的一些传感器外参标定的流程示意图；

图5A是根据本公开实施例公开的一些传感器外参标定模型的训练方法的流程图；

图5B是根据本公开实施例公开的一些传感器外参标定模型训练的流程示意图；

图6是根据本公开实施例公开的一些传感器外参标定装置的结构示意图；

图7是根据本公开实施例公开的一些传感器外参标定模型的训练装置的结构示意图；

图8是用来实现本公开实施例公开的传感器外参标定方法和/或传感器外参标定模型的训练方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

目前主流的传感器外参标定方法通常需要利用特定的标定物(如棋盘格或二维码等)在特定的标定空间中才能实现，该方法在特定的空间中，分别提取激光雷达和相机中标定物的特征，并通过建立特征间的对应关系来进行标定。

然而，该方法依赖特定的标定物以及标定空间，因此标定的灵活性较差，且无法满足对传感器外参进行实时标定的需求，并且还需要对标定物以及标定空间定期维护，因此标定成本也较高。

图1是根据本公开实施例公开的一些传感器外参标定方法的流程图，本实施例可以适用于对相机与激光雷达之间的外参进行标定的情况。本实施例方法可以由本公开实施例公开的传感器外参标定装置来执行，所述装置可采用软件和/或硬件实现，并可集成在任意的具有计算能力的电子设备上，例如服务器中。

如图1所示，本实施例公开的传感器外参标定方法可以包括：

S101、在确定目标载体满足外参标定条件的情况下，获取目标相机在第一时刻所采集的目标图像帧，以及目标激光雷达在第二时刻所采集的目标点云。

其中，目标载体表示任意具有移动能力的移动载体，包括但不限于移动机器人、汽车、摩托车、飞机和叉车等等。目标相机表示利用光学成像原理形成影像并使用底片记录影像的设备，在本实施例中目标相机用于对目标载体周围环境进行图像采集，供目标载体基于采集图像来对周围环境进行感知，从而进行自动驾驶的决策。目标激光雷达表示以发射激光束探测目标的位置、速度等特征量的雷达系统，在本实施例中目标激光雷达用于对目标载体周围环境进行激光探测形成探测点云，供目标载体基于探测点云对周围环境进行感知，从而进行自动驾驶的决策。

目标相机和目标激光雷达搭载于目标载体上，如当目标载体为自动驾驶汽车时，目标相机和目标激光雷达可以搭载于自动驾驶汽车的前中网，或者搭载于自动驾驶汽车的左右后视镜下，又或者搭载于自动驾驶汽车的后备箱处等等，本实施例并不对目标相机和目标激光雷达在目标载体上具体的搭载位置进行限定。目标载体搭载的目标相机和目标激光雷达的数量可以是一个也可以是多个，也即本实施例可以适用于对目标载体搭载的多相机与多激光雷达分别进行外参标定的场景。

为了能够保证传感器外参标定结果的可靠性以及准确性，预先设定了外参标定条件，也即只有在目标载体满足外参标定条件的情况下，才会触发目标图像帧以及目标点云的获取操作，否则不会触发目标图像帧以及目标点云的获取操作。

目标图像帧表示通过目标相机对目标载体周围环境进行图像采集而得到的图像帧，目标点云则表示通过目标激光雷达对目标载体周围环境进行激光探测而得到的点云。其中，点云是指在三维坐标系统中向量的集合，点云中的每一个点包含有三维坐标，并且可以携带有关该点属性的其他信息，例如颜色、反射率、强度等。

在一种实施方式中，用于执行外参标定流程的服务器(以下简称服务器)，基于与目标载体之间的数据通信，从目标载体中获取目标载体实时的运动属性信息，并缓存目标时间段内的运动属性信息，如设置目标时间段为2秒。进而根据缓存的运动属性信息对目标载体进行工况检测以判断目标载体是否满足外参标定条件。其中，外参标定条件可以包括道路平整度子条件和/或载体速度子条件等，也即当目标载体满足道路平整度子条件和/或载体速度子条件时，意味着目标载体满足外参标定条件。

在服务器确定目标载体满足外参标定条件的情况下，服务器基于与目标相机之间的数据通信，从目标相机获取其在第一时刻所采集的目标图像帧，以及基于与目标激光雷达之间的数据通信，从目标激光雷达获取其在第二时刻所采集的目标点云。其中，目标图像帧可以由目标相机采集并存储到目标相机的存储设备中，而服务器可以在授权的前提下直接访问存储设备用于获取目标图像帧。相应的，目标点云可以由目标激光雷达采集并存储到目标激光雷达的存储设备中，而服务器可以同样在授权的前提下直接访问存储设备用于获取目标点云。

通过在确定目标载体满足外参标定条件的情况下，获取目标相机在第一时刻所采集的目标图像帧，以及目标激光雷达在第二时刻所采集的目标点云，一方面能够避免由于目标载体不满足外参标定条件，导致外参标定结果不准确的问题，另一方面为后续点云坐标系转换以及特征提取过程奠定了数据基础。

S102、对目标点云进行坐标系转换，确定目标点云在转换雷达坐标系中对应的转换点云。

其中，由于相机与激光雷达是不同类型的传感器，现有的车载激光雷达、相机没有相互间配合工作，而是各自独立工作。也即目标图像帧和目标点云通常在不同时刻触发采集，换言之，目标相机采集目标图像帧对应的第一时刻，与目标激光雷达采集目标点云对应的第二时刻并不相同。因此为了保证外参标定结果的准确性及可靠性，需要将目标点云转换到目标图像帧时间戳(第一时刻)对应的雷达坐标系下，用于实现传感器数据(图像帧与点云)时间对齐。而转换雷达坐标系则表示在第一时刻时目标激光雷达对应的雷达坐标系。

在一种实施方式中，分别确定目标载体在第一时刻和第二时刻时处于世界坐标系下的第一载体位姿和第二载体位姿。根据第一载体位姿以及目标激光雷达与目标载体之间的相对位姿，确定目标激光雷达在第一时刻时处于世界坐标系下的第一雷达位姿，以及根据第二载体位姿以及目标激光雷达与目标载体之间的相对位姿，确定目标激光雷达在第二时刻时处于世界坐标系下的第二雷达位姿。

根据第一雷达位姿以及第二雷达位姿，确定在第二时刻时目标激光雷达对应的雷达坐标系与在第一时刻时目标激光雷达对应的雷达坐标系，之间的坐标系转换矩阵，进而根据坐标系转换矩阵实现对目标点云进行坐标系转换的效果，确定目标点云在转换雷达坐标系中对应的转换点云。

通过对目标点云进行坐标系转换，确定目标点云在转换雷达坐标系中对应的转换点云，实现了将传感器数据(图像帧与点云)进行时间对齐的效果，保证了传感器外参标定的准确性及可靠性。

S103、对目标图像帧进行特征提取，获取图像特征图，以及对转换点云对应的深度图进行特征提取，获取点云特征图。

其中，特征提取是指的提取图像的图像特征，图像特征是指的能够区别于其他图像的自身特征，如亮度、边缘、纹理和色彩等等。特征图表示根据特征提取结果所组成的图像，可以看作是图像的抽象表示，其中每个像素点表示一些特定的图像特征，可以理解的是，对目标图像帧进行特征提取得到的特征图作为图像特征图，对转换点云对应的深度图进行特征提取得到的特征图作为点云特征图。

在一种实施方式中，针对目标图像帧，采用图像归一化算法对目标图像帧进行归一化，用于归一化特征尺度，消除不同尺度特征带来的负面影响。针对转换点云，根据目标相机的相机内参和相机外参将三维坐标形式的转换点云，映射为二维坐标形式的图像像素点，并将映射后的各图像像素点的像素值赋予为对应点的深度值，生成转换点云对应的深度图。例如，假设转换点云中某一点A的三维坐标为(X,Y,Z)，映射得到二维图像坐标(U,V)，则将(U,V)的像素值赋予点A的深度值Z。

获取预先训练完成的传感器外参标定模型，其中，传感器外参标定模型包括至少一个图像特征提取层以及至少一个点云特征提取层，将目标图像帧和转换点云对应的深度图一并输入到传感器外参标定模型中，通过图像特征提取层对目标图像帧进行特征提取，输出图像特征图，以及通过点云特征提取层对转换点云对应的深度图进行特征提取，输出点云特征图。其中，图像特征提取层和点云特征提取层可以设置为ResBlock结构。

通过对目标图像帧进行特征提取，获取图像特征图，以及对转换点云对应的深度图进行特征提取，获取点云特征图，由于形成了与图像帧在数据格式上相似的深度图，因此使得提取得到的图像特征图和点云特征图更具有数据相似性。

S104、根据图像特征图以及点云特征图，确定目标相机和目标激光雷达之间的目标外参。

在一种实施方式中，获取预先训练完成的传感器外参标定模型，其中，传感器外参标定模型还包括平移检测头以及旋转检测头。将图像特征提取层输出的图像特征图以及点云特征提取层输出的点云特征图，分别输入至平移检测头以及旋转检测头中。通过平移检测头根据图像特征图和点云特征图进行预测，输出目标相机和目标激光雷达之间的目标相对平移矩阵；并且，通过旋转检测头根据图像特征图和点云特征图进行预测，输出目标相机和目标激光雷达之间的目标相对旋转矩阵，根据目标相对平移矩阵和目标相对旋转矩阵确定目标相机和目标激光雷达之间的目标外参。其中，平移检测头和旋转检测头均设置为全连接层结构。

在另一种实施方式中，获取预先训练完成的传感器外参标定模型，其中，传感器外参标定模型还包括特征图匹配层。将图像特征提取层输出的图像特征图以及点云特征提取层输出的点云特征图，输入至特征图匹配层中。通过特征图匹配层计算图像特征图和点云特征图之间的特征图相似度，并通过平移检测头根据特征图相似度进行预测，输出目标相机和目标激光雷达之间的目标相对平移矩阵；并且，通过旋转检测头根据特征图相似度进行预测，输出目标相机和目标激光雷达之间的目标相对旋转矩阵，根据目标相对平移矩阵和目标相对旋转矩阵确定目标相机和目标激光雷达之间的目标外参。其中，特征图匹配层可以设置为Cost-volume结构。

本公开通过在确定目标载体满足外参标定条件的情况下，获取目标相机在第一时刻所采集的目标图像帧，以及目标激光雷达在第二时刻所采集的目标点云；其中，目标相机和目标激光雷达搭载于目标载体上；对目标点云进行坐标系转换，确定目标点云在转换雷达坐标系中对应的转换点云；其中，转换雷达坐标系表示在第一时刻时目标激光雷达对应的雷达坐标系；对目标图像帧进行特征提取，获取图像特征图，以及对转换点云对应的深度图进行特征提取，获取点云特征图；根据图像特征图以及点云特征图，确定目标相机和目标激光雷达之间的目标外参，一方面使得传感器外参标定摆脱了对于标定物以及标定场景的依赖，仅根据传感器数据(图像帧与点云)便可以实现传感器外参标定，提高了传感器外参标定的灵活性，且降低了传感器外参标定的成本；另一方面，使得传感器外参标定适用于端到端实时标定的场景，省略了传统繁琐的标定步骤，简化了标定过程，提高了传感器外参标定的实时性。

图2是根据本公开实施例公开的另一些传感器外参标定方法的流程图，基于上述技术方案进一步优化与扩展，并可以与上述各个可选实施方式进行结合。

如图2所示，本实施例公开的传感器外参标定方法可以包括：

S201、在确定目标载体满足外参标定条件的情况下，获取目标相机在第一时刻所采集的目标图像帧，以及目标激光雷达在第二时刻所采集的目标点云。

S202、确定目标载体在第一时刻对应的第一载体位姿，以及在第二时刻对应的第二载体位姿。

其中，第一载体位姿是指的目标载体在第一时刻时所处世界坐标系中的位姿，而第二载体位姿是指的目标载体在第二时刻时所处世界坐标系中的位姿。

S203、根据雷达相对位姿和第一载体位姿，确定在第一时刻时目标激光雷达的第一雷达位姿，以及根据雷达相对位姿和第二载体位姿，确定在第二时刻时目标激光雷达的第二雷达位姿。

其中，雷达相对位姿为目标激光雷达和目标载体之间的相对位姿。第一雷达位姿是指的目标激光雷达在第一时刻时所处世界坐标系中的位姿，而第二雷达位姿是指的目标激光雷达在第二时刻时所处世界坐标系中的位姿。

在一种实施方式中，采用如下公式确定第一雷达位姿和第二雷达位姿：

其中，表示第一雷达位姿，/>表示第二雷达位姿，/>表示第一载体位姿，/>表示第二载体位姿，/>表示雷达相对位姿。

S204、根据第一雷达位姿以及第二雷达位姿，对目标点云进行坐标系转换，确定目标点云在转换雷达坐标系中对应的转换点云。

在一种实施方式中，根据第一雷达位姿以及第二雷达位姿生成坐标系转换矩阵，进而基于坐标系转换矩阵对目标点云进行坐标系转换，确定目标点云在转换雷达坐标系中对应的转换点云。

通过确定目标载体在第一时刻对应的第一载体位姿，以及在第二时刻对应的第二载体位姿；根据雷达相对位姿和第一载体位姿，确定在第一时刻时目标激光雷达的第一雷达位姿，以及根据雷达相对位姿和第二载体位姿，确定在第二时刻时目标激光雷达的第二雷达位姿；其中，雷达相对位姿为目标激光雷达和目标载体之间的相对位姿；根据第一雷达位姿以及第二雷达位姿，对目标点云进行坐标系转换，确定目标点云在转换雷达坐标系中对应的转换点云，从而将第二时刻采集的目标点云通过雷达坐标系的转换，转换为第一时刻对应的转换点云，实现了将传感器数据(图像帧与点云)进行时间对齐的效果，保证了传感器外参标定的准确性及可靠性。

可选的，根据第一雷达位姿以及第二雷达位姿，对目标点云进行坐标系转换，确定目标点云在转换雷达坐标系中对应的转换点云，包括：

A、根据第一雷达位姿以及第二雷达位姿，确定当前雷达坐标系与转换雷达坐标系之间的坐标系转换矩阵。

其中，当前雷达坐标系表示在第二时刻时目标激光雷达对应的雷达坐标系。也即随着目标载体的运动，目标激光雷达对应的雷达坐标系由第一时刻对应的转换雷达坐标系，变化为第二时刻对应的当前雷达坐标系。

在一种实施方式中，根据第一雷达位姿和第二雷达位姿进行矩阵相乘运算，并根据矩阵相乘运算结果确定当前雷达坐标系与转换雷达坐标系之间的坐标系转换矩阵。

可选的，根据第一雷达位姿以及第二雷达位姿，确定当前雷达坐标系与转换雷达坐标系之间的坐标系转换矩阵，包括：

采用如下公式确定坐标系转换矩阵：

其中，ΔT表示坐标系转换矩阵，表示第一雷达位姿，/>表示第二雷达位姿。坐标系转换矩阵体现了当前雷达坐标系与转换雷达坐标系之间，各点的三维坐标的转换关系，也即通过坐标系转换矩阵可以实现将当前雷达坐标系中的点云(目标点云)转换为转换雷达坐标系中的点云(转换点云)。

通过采用公式计算得到坐标系转换矩阵，从而给出了一种直接计算坐标系转换矩阵的方式，有利于加快整个传感器外参标定的流程，提高了传感器外参标定的效率。

B、根据坐标系转换矩阵对目标点云进行坐标系转换，确定目标点云在转换雷达坐标系中对应的转换点云。

在一种实施方式中，将目标点云中各点的三维坐标与坐标系转换矩阵进行矩阵相乘运算，并根据矩阵相乘运算结果确定转换点云中各点的三维坐标，从而实现确定目标点云在转换雷达坐标系中对应的转换点云的效果。

可选的，采用如下公式确定目标点云在转换雷达坐标系中对应的转换点云：

其中，表示目标点云中点i的三维坐标，i＝0,1,2,…,N。ΔT表示坐标系转换矩阵。/>表示转换点云中点i的三维坐标，i＝0,1,2,…,N。

通过根据第一雷达位姿以及第二雷达位姿，确定当前雷达坐标系与转换雷达坐标系之间的坐标系转换矩阵；其中，当前雷达坐标系表示在第二时刻时目标激光雷达对应的雷达坐标系，根据坐标系转换矩阵对目标点云进行坐标系转换，确定目标点云在转换雷达坐标系中对应的转换点云，从而通过计算转换雷达坐标系和当前雷达坐标系之间的坐标系转换矩阵，来实现目标点云与转换点云的转换，方便且快捷，并且还可以保证转换点云转换的准确性和可靠性。

S205、对目标图像帧进行特征提取，获取图像特征图，以及对转换点云对应的深度图进行特征提取，获取点云特征图。

S206、根据图像特征图确定目标相机的目标相机类别，并确定图像特征图和点云特征图之间的特征图相似度。

其中，目标相机类别用于体现目标相机自身的相机类别，以便对不同相机类别的相机进行权重调整，例如目标相机类别可以是长焦相机或短焦相机等等。特征图相似度则体现了图像特征图与点云特征图之间的差异性。

在一种实施方式中，获取预先训练完成的传感器外参标定模型，其中，传感器外参标定模型还包括相机分类头和Cost-volume层，相机分类头可以设置为全连接层形式。将图像特征提取层输出的图像特征图输入至相机分类头中，通过相机分类头预测目标相机的目标相机类别并进行输出。与此同时，将图像特征提取层输出的图像特征图以及点云特征提取层输出的点云特征图，输入至Cost-volume层中。通过Cost-volume层计算在不同像素偏置时图像特征图和点云特征图的差异性作为特征图相似度。

S207、根据目标相机类别和特征图相似度，确定目标相机和目标激光雷达之间的目标相对平移矩阵以及目标相对旋转矩阵。

在一种实施方式中，通过传感器外参标定模型中的平移检测头根据特征图相似度以及目标相机类别进行预测，输出目标相机和目标激光雷达之间的目标相对平移矩阵；并且，通过传感器外参标定模型中的旋转检测头根据特征图相似度以及目标相机类别进行预测，输出目标相机和目标激光雷达之间的目标相对旋转矩阵。

通过根据图像特征图确定目标相机的目标相机类别，并确定图像特征图和点云特征图之间的特征图相似度，根据目标相机类别和特征图相似度，确定目标相机和目标激光雷达之间的目标相对平移矩阵以及目标相对旋转矩阵，从而使得传感器外参的标定不仅仅依赖于特征图相似度还依赖于目标相机类别，丰富了参考数据维度，从而进一步保证了传感器外参标定的准确性以及可靠性。

图3是根据本公开实施例公开的一些外参标定条件校验方法的流程图，对“在确定目标载体满足外参标定条件的情况下，获取目标相机在第一时刻所采集的目标图像帧，以及目标激光雷达在第二时刻所采集的目标点云”之前的技术步骤，进一步优化与扩展，并可以与上述各个可选实施方式进行结合。

如图3所示，本实施例公开的外参标定条件校验方法可以包括：

S301、获取目标载体在目标时间段内的运动属性信息。

其中，运动属性信息体现了目标载体的运动姿态以及运动趋势，运动属性信息包括目标横滚角、目标俯仰角和目标速度中的至少一种。目标时间段可以根据实际业务需求进行设置和调整，如设置目标时间段为2秒，则获取目标载体在2秒内的运动属性信息。

在一种实施方式中，目标载体基于自身搭载的运动传感器来实时采集自身的运动属性信息，服务器基于与目标载体之间的数据通信，从目标载体中获取目标载体实时的运动属性信息，并缓存目标时间段内的运动属性信息。如设置目标时间段为2秒，则缓存目标载体在2秒内的运动属性信息。

S302、根据运动属性信息确定目标载体是否满足外参标定条件。

在一种实施方式中，利用目标横滚角和目标俯仰角来确定目标载体是否满足道路平整度子条件；利用目标速度来确定目标载体是否满足载体速度子条件。

若目标载体满足道路平整度子条件和载体速度子条件中的至少一种，则确定目标载体满足外参标定条件，触发获取目标相机在第一时刻所采集的目标图像帧，以及目标激光雷达在第二时刻所采集的目标点云的操作，否则清空运动属性信息，重新进行外参标定条件校验。

可选的，若目标载体同时满足道路平整度子条件和载体速度子条件，则确定目标载体满足外参标定条件，从而最大程度保证外参标定结果的精度和可靠性。

通过获取目标载体在目标时间段内的运动属性信息，根据运动属性信息确定目标载体是否满足外参标定条件，实现了对目标载体是否满足外参标定条件进行校验的效果，避免当目标载体不满足外参标定条件时却进行传感器外参标定，会导致传感器外参标定结果不准确的问题，保证了传感器外参标定的精度。

可选的，外参标定条件包括道路平整度子条件。

其中，道路平整度子条件用于衡量目标载体所处行驶道路是否足够平整，也即当目标载体所处行驶道路足够平整时，才满足外参标定条件。

可选的，根据运动属性信息确定目标载体是否满足外参标定条件，包括：

确定目标横滚角在目标时间段内的第一统计数据，以及目标俯仰角在目标时间段内的第二统计数据；根据目标横滚角、目标俯仰角、第一统计数据和第二统计数据，确定目标载体是否满足道路平整度子条件；若是，则确定目标载体满足外参标定条件。

其中，第一统计数据包括横滚角波动值和横滚角标准差，第二统计数据包括俯仰角波动值和俯仰角标准差；

道路平整度子条件包括如下至少一种：

目标横滚角满足3σ原则；3σ原则是指在正态分布的情况下大约有68％的目标横滚角会落在横滚角均值加减3倍横滚角标准差的范围内。

目标俯仰角满足3σ原则；3σ原则是指在正态分布的情况下大约有68％的目标俯仰角会落在俯仰角均值加减3倍俯仰角标准差的范围内。

横滚角波动值小于横滚角波动阈值；其中，横滚角波动阈值可选的设置为1度。

横滚角标准差小于横滚角标准差阈值；其中，横滚角标准差阈值可选的设置为0.2度。

俯仰角波动值小于俯仰角波动阈值；其中，俯仰角波动阈值可选的设置为1度。

俯仰角标准差小于俯仰角标准差阈值；其中，俯仰角标准差阈值可选的设置为0.2度。

在一种实施方式中，当目标时间段内的目标横滚角满足3σ原则，且，目标俯仰角满足3σ原则，且，横滚角波动值小于横滚角波动阈值，且，横滚角标准差小于横滚角标准差阈值，且，俯仰角波动值小于俯仰角波动阈值，且，俯仰角标准差小于俯仰角标准差阈值，则确定目标载体满足道路平整度子条件，则进一步确定目标载体满足外参标定条件。否则，清空运动属性信息，重新进行外参标定条件校验。

通过确定目标横滚角在目标时间段内的第一统计数据，以及目标俯仰角在目标时间段内的第二统计数据；其中，第一统计数据包括横滚角波动值和横滚角标准差，第二统计数据包括俯仰角波动值和俯仰角标准差；根据目标横滚角、目标俯仰角、第一统计数据和第二统计数据，确定目标载体是否满足道路平整度子条件；若是，则确定目标载体满足外参标定条件，从而通过目标载体所处行驶道路是否足够平整来判断目标载体是否满足外参标定条件，使得仅当目标载体所处行驶道路足够平整时，才进行传感器外参标定，保证了传感器外参标定的精度。

可选的，外参标定条件包括载体速度子条件。

其中，载体速度子条件用于衡量目标载体的行驶速度是否合理，也即当目标载体的行驶速度合理时，才满足外参标定条件。

可选的，根据运动属性信息确定目标载体是否满足外参标定条件，包括：

确定目标速度在目标时间段内的第三统计数据；根据第三统计数据确定目标载体是否满足载体速度子条件；若是，则确定目标载体满足外参标定条件。

其中，第三统计数据包括最大目标速度和最小目标速度；载体速度子条件包括如下至少一种：最大目标速度小于速度上限值；最小目标速度大于速度下限值。其中，速度上限值可选的设置为7m/s，速度下限值可选的设置为5m/s。

在一种实施方式中，当目标时间段内的目标速度中最大目标速度小于速度上限值，且，最小目标速度大于速度下限值，则确定目标载体满足载体速度子条件，则进一步确定目标载体满足外参标定条件。否则，清空运动属性信息，重新进行外参标定条件校验。

通过确定目标速度在目标时间段内的第三统计数据；根据第三统计数据确定目标载体是否满足载体速度子条件；若是，则确定目标载体满足外参标定条件，从而通过目标载体的行驶速度是否合理来判断目标载体是否满足外参标定条件，使得仅当目标载体的行驶速度合理时，才进行传感器外参标定，保证了传感器外参标定的精度。

图4是根据本公开实施例公开的一些传感器外参标定的流程示意图，如图4所示，传感器外参标定流程包括：

利用运动属性信息400对目标载体进行外参标定条件校验401，在确定目标载体满足外参标定条件的情况下，获取目标图像帧402以及目标点云403。

对目标图像帧402进行归一化404，并且对目标点云403进行坐标系转换405，确定转换点云。进而确定转换点云对应的深度图406。

将归一化后的目标图像帧402以及深度图406一并输入至传感器外参标定模型407中。

通过四个连续的图像特征提取层4071～4074，对归一化后的目标图像帧402进行特征提取，输出图像特征图；并且，通过四个连续的点云特征提取层4075～4078，对深度图406进行特征提取，输出点云特征图。

将图像特征图输入至相机分类头4079中，通过相机分类头4079预测目标相机的目标相机类别并进行输出。将图像特征图以及点云特征图，输入至Cost-volume层4080中，通过Cost-volume层4080计算在不同像素偏置时图像特征图和点云特征图的差异性作为特征图相似度。

通过平移检测头4081根据特征图相似度以及目标相机类别进行预测，输出目标相机和目标激光雷达之间的目标相对平移矩阵408；并且，通过旋转检测头4082根据特征图相似度以及目标相机类别进行预测，输出目标相机和目标激光雷达之间的目标相对旋转矩阵409。

图5A是根据本公开实施例公开的一些传感器外参标定模型的训练方法的流程图，本实施例可以适用于对传感器外参标定模型进行训练的情况，传感器外参标定模型用于对相机与激光雷达之间的外参进行标定。本实施例方法可以由本公开实施例公开的传感器外参标定模型的训练装置来执行，所述装置可采用软件和/或硬件实现，并可集成在任意的具有计算能力的电子设备上，例如服务器中。

如图5A所示，本实施例公开的传感器外参标定模型的训练方法可以包括：

S501、获取目标相机在第一时刻所采集的样本图像帧，以及目标激光雷达在第二时刻所采集的样本点云。

其中，目标相机和目标激光雷达搭载于目标载体上。目标相机表示利用光学成像原理形成影像并使用底片记录影像的设备，在本实施例中目标相机用于对目标载体周围环境进行图像采集，从而获取用于对传感器外参标定模型进行训练的图像训练数据。目标激光雷达表示以发射激光束探测目标的位置、速度等特征量的雷达系统，在本实施例中目标激光雷达用于对目标载体周围环境进行激光探测形成探测点云，从而获取用于对传感器外参标定模型进行训练的点云训练数据。

样本图像帧表示通过目标相机对目标载体周围环境进行图像采集而得到的图像帧，样本点云则表示通过目标激光雷达对目标载体周围环境进行激光探测而得到的点云。样本图像帧和样本点云均为用于对传感器外参标定模型进行训练的训练数据。当目标相机的数量为多个时，样本图像帧的数量同样为多张，相应的，当目标激光雷达的数量为多个时，样本点云的数量同样为多帧。

在一种实施方式中，服务器基于与目标相机之间的数据通信，从目标相机获取其在第一时刻所采集的样本图像帧，以及基于与目标激光雷达之间的数据通信，从目标激光雷达获取其在第二时刻所采集的样本点云。其中，样本图像帧可以由目标相机采集并存储到目标相机的存储设备中，而服务器可以在授权的前提下直接访问存储设备用于获取样本图像帧。相应的，样本点云可以由目标激光雷达采集并存储到目标激光雷达的存储设备中，而服务器可以同样在授权的前提下直接访问存储设备用于获取样本点云。

通过获取目标相机在第一时刻所采集的样本图像帧，以及目标激光雷达在第二时刻所采集的样本点云，由于在模型训练阶段的训练数据(样本图像帧和样本点云)获取不受外参标定条件的限制，因此可以大大提高训练数据的泛化性，提高传感器外参标定模型的模型性能。

S502、对样本点云进行坐标系转换，确定样本点云在转换雷达坐标系中对应的转换点云。

其中，转换雷达坐标系表示在第一时刻时目标激光雷达对应的雷达坐标系。

在一种实施方式中，分别确定目标载体在第一时刻和第二时刻时处于世界坐标系下的第一载体位姿和第二载体位姿。根据第一载体位姿以及目标激光雷达与目标载体之间的相对位姿，确定目标激光雷达在第一时刻时处于世界坐标系下的第一雷达位姿，以及根据第二载体位姿以及目标激光雷达与目标载体之间的相对位姿，确定目标激光雷达在第二时刻时处于世界坐标系下的第二雷达位姿。

根据第一雷达位姿以及第二雷达位姿，确定在第二时刻时目标激光雷达对应的雷达坐标系与在第一时刻时目标激光雷达对应的雷达坐标系，之间的坐标系转换矩阵，进而根据坐标系转换矩阵实现对样本点云进行坐标系转换的效果，确定样本点云在转换雷达坐标系中对应的转换点云。

S503、通过待训练模型对样本图像帧进行特征提取，获取样本图像特征图，以及对转换点云对应的深度图进行特征提取，获取样本点云特征图。

其中，待训练模型中包括至少一个图像特征提取层以及至少一个点云特征提取层，将样本图像帧和转换点云对应的深度图一并输入到待训练模型中，通过图像特征提取层对样本图像帧进行特征提取，输出样本图像特征图，以及通过点云特征提取层对转换点云对应的深度图进行特征提取，输出样本点云特征图。其中，图像特征提取层和点云特征提取层可以设置为ResBlock结构。

S504、通过待训练模型根据样本图像特征图以及样本点云特征图，确定目标相机和目标激光雷达之间的预测外参。

其中，待训练模型中还包括相机分类头、Cost-volume层、平移检测头和旋转检测头。相机分类头、平移检测头和旋转检测头可以设置为全连接层形式。

将图像特征提取层输出的样本图像特征图输入至相机分类头中，通过相机分类头预测目标相机的目标相机类别并进行输出。与此同时，将图像特征提取层输出的样本图像特征图以及点云特征提取层输出的样本点云特征图，输入至Cost-volume层中。通过Cost-volume层计算在不同像素偏置时样本图像特征图和样本点云特征图的差异性作为样本特征图相似度。

通过平移检测头根据样本特征图相似度以及目标相机类别进行预测，输出目标相机和目标激光雷达之间的预测相对平移矩阵；并且，通过旋转检测头根据样本特征图相似度以及目标相机类别进行预测，输出目标相机和目标激光雷达之间的预测相对旋转矩阵。根据预测相对平移矩阵和预测相对旋转矩阵，确定目标相机和目标激光雷达之间的预测外参。

S505、根据预测外参对待训练模型进行训练，生成传感器外参标定模型。

在一种实施方式中，获取外参真值，并根据外参真值以及预测外参计算损失值，并利用损失值对待训练模型进行训练，直至模型训练完成生成传感器外参标定模型。其中，外参真值可以预先通过手动标定工具，对目标相机采集的图像帧和目标激光雷达采集的点云进行手动标定获得。

本公开获取目标相机在第一时刻所采集的样本图像帧，以及目标激光雷达在第二时刻所采集的样本点云；其中，目标相机和目标激光雷达搭载于目标载体上；对样本点云进行坐标系转换，确定样本点云在转换雷达坐标系中对应的转换点云；其中，转换雷达坐标系表示在第一时刻时目标激光雷达对应的雷达坐标系；通过待训练模型对样本图像帧进行特征提取，获取样本图像特征图，以及对转换点云对应的深度图进行特征提取，获取样本点云特征图；通过待训练模型根据样本图像特征图以及样本点云特征图，确定目标相机和目标激光雷达之间的预测外参；根据预测外参对待训练模型进行训练，生成传感器外参标定模型，一方面由于模型训练过程摆脱了对于标定物以及标定场景的依赖，仅根据传感器数据(样本图像帧与样本点云)便可以实现对传感器外参标定模型的训练，从而降低了模型训练的工作量；另一方面，本公开训练得到的传感器外参标定模型是通用模型，任意的相机和激光雷达均可以应用该模型进行外参标定，从而无需再为相机-激光雷达的不同组合特意训练专用模型，提高了模型的通用性，进一步降低了模型训练的工作量，且提高了模型运行性能。

图5B是根据本公开实施例公开的一些传感器外参标定模型训练的流程示意图，如图5B所示，传感器外参标定模型训练流程包括：

对样本图像帧500进行归一化501，并且对样本点云502进行坐标系转换503，确定转换点云。进而确定转换点云对应的深度图504。

将归一化后的样本图像帧500以及深度图504一并输入至待训练模型505中。

通过四个连续的图像特征提取层5051～5054，对归一化后的样本图像帧500进行特征提取，输出样本图像特征图；并且，通过四个连续的点云特征提取层5055～5058，对深度图504进行特征提取，输出样本点云特征图。

将样本图像特征图输入至相机分类头5059中，通过相机分类头5059预测目标相机的目标相机类别并进行输出。将样本图像特征图以及样本点云特征图，输入至Cost-volume层5060中，通过Cost-volume层5060计算在不同像素偏置时样本图像特征图和样本点云特征图的差异性作为样本特征图相似度。

通过平移检测头5061根据样本特征图相似度以及目标相机类别进行预测，输出目标相机和目标激光雷达之间的预测相对平移矩阵506；并且，通过旋转检测头5062根据样本特征图相似度以及目标相机类别进行预测，输出目标相机和目标激光雷达之间的预测相对旋转矩阵507。

利用预测相对平移矩阵506和预测相对旋转矩阵507对待训练模型505进行模型训练，生成传感器外参标定模型。

图6是根据本公开实施例公开的一些传感器外参标定装置的结构示意图，可以适用于对相机与激光雷达之间的外参进行标定的情况。本实施例装置可采用软件和/或硬件实现，并可集成在任意的具有计算能力的电子设备上。

如图6所示，本实施例公开的传感器外参标定装置60可以包括目标数据获取模块61、第一坐标系转换模块62、第一特征提取模块63以及目标外参确定模块64，其中：

目标数据获取模块61，用于在确定目标载体满足外参标定条件的情况下，获取目标相机在第一时刻所采集的目标图像帧，以及目标激光雷达在第二时刻所采集的目标点云；其中，目标相机和目标激光雷达搭载于目标载体上；

第一坐标系转换模块62，用于对目标点云进行坐标系转换，确定目标点云在转换雷达坐标系中对应的转换点云；其中，转换雷达坐标系表示在第一时刻时目标激光雷达对应的雷达坐标系；

第一特征提取模块63，用于对目标图像帧进行特征提取，获取图像特征图，以及对转换点云对应的深度图进行特征提取，获取点云特征图；

目标外参确定模块64，用于根据图像特征图以及点云特征图，确定目标相机和目标激光雷达之间的目标外参。

可选的，第一坐标系转换模块62，具体用于：

确定目标载体在第一时刻对应的第一载体位姿，以及在第二时刻对应的第二载体位姿；

根据雷达相对位姿和第一载体位姿，确定在第一时刻时目标激光雷达的第一雷达位姿，以及根据雷达相对位姿和第二载体位姿，确定在第二时刻时目标激光雷达的第二雷达位姿；其中，雷达相对位姿为目标激光雷达和目标载体之间的相对位姿；

根据第一雷达位姿以及第二雷达位姿，对目标点云进行坐标系转换，确定目标点云在转换雷达坐标系中对应的转换点云。

可选的，第一坐标系转换模块62，具体还用于：

根据第一雷达位姿以及第二雷达位姿，确定当前雷达坐标系与转换雷达坐标系之间的坐标系转换矩阵；其中，当前雷达坐标系表示在第二时刻时目标激光雷达对应的雷达坐标系；

根据坐标系转换矩阵对目标点云进行坐标系转换，确定目标点云在转换雷达坐标系中对应的转换点云。

可选的，第一坐标系转换模块62，具体还用于：

采用如下公式确定坐标系转换矩阵：

其中，ΔT表示坐标系转换矩阵，表示第一雷达位姿，/>表示第二雷达位姿。

可选的，目标外参确定模块64，具体用于：

根据图像特征图确定目标相机的目标相机类别，并确定图像特征图和点云特征图之间的特征图相似度；

根据目标相机类别和特征图相似度，确定目标相机和目标激光雷达之间的目标相对平移矩阵以及目标相对旋转矩阵。

可选的，装置还包括外参标定条件校验模块，具体用于：

获取目标载体在目标时间段内的运动属性信息；其中，运动属性信息包括目标横滚角、目标俯仰角和目标速度中的至少一种；

根据运动属性信息确定目标载体是否满足外参标定条件。

可选的，外参标定条件包括道路平整度子条件；

外参标定条件校验模块，具体还用于：

确定目标横滚角在目标时间段内的第一统计数据，以及目标俯仰角在目标时间段内的第二统计数据；其中，第一统计数据包括横滚角波动值和横滚角标准差，第二统计数据包括俯仰角波动值和俯仰角标准差；

根据目标横滚角、目标俯仰角、第一统计数据和第二统计数据，确定目标载体是否满足道路平整度子条件；

若是，则确定目标载体满足外参标定条件；

其中，道路平整度子条件包括如下至少一种：

目标横滚角满足3σ原则；

目标俯仰角满足3σ原则；

横滚角波动值小于横滚角波动阈值；

横滚角标准差小于横滚角标准差阈值；

俯仰角波动值小于俯仰角波动阈值；

俯仰角标准差小于俯仰角标准差阈值。

可选的，外参标定条件包括载体速度子条件；

外参标定条件校验模块，具体还用于：

确定目标速度在目标时间段内的第三统计数据；其中，第三统计数据包括最大目标速度和最小目标速度；

根据第三统计数据确定目标载体是否满足载体速度子条件；

若是，则确定目标载体满足外参标定条件；

其中，载体速度子条件包括如下至少一种：

最大目标速度小于速度上限值；

最小目标速度大于速度下限值。

本公开实施例所公开的传感器外参标定装置60可执行本公开实施例所公开的传感器外参标定方法，具备执行方法相应的功能模块和有益效果。本实施例中未详尽描述的内容可以参考本公开方法实施例中的描述。

图7是根据本公开实施例公开的一些传感器外参标定模型的训练装置的结构示意图，可以适用于对传感器外参标定模型进行训练的情况，传感器外参标定模型用于对相机与激光雷达之间的外参进行标定。本实施例装置可采用软件和/或硬件实现，并可集成在任意的具有计算能力的电子设备上。

如图7所示，本实施例公开的传感器外参标定模型的训练装置70可以包括样本数据获取模块71、第二坐标系转换模块72、第二特征提取模块73、预测外参确定模块74以及模型训练模块75，其中：

样本数据获取模块71，用于获取目标相机在第一时刻所采集的样本图像帧，以及目标激光雷达在第二时刻所采集的样本点云；其中，目标相机和目标激光雷达搭载于目标载体上；

第二坐标系转换模块72，用于对样本点云进行坐标系转换，确定样本点云在转换雷达坐标系中对应的转换点云；其中，转换雷达坐标系表示在第一时刻时目标激光雷达对应的雷达坐标系；

第二特征提取模块73，用于通过待训练模型对样本图像帧进行特征提取，获取样本图像特征图，以及对转换点云对应的深度图进行特征提取，获取样本点云特征图；

预测外参确定模块74，用于通过待训练模型根据样本图像特征图以及样本点云特征图，确定目标相机和目标激光雷达之间的预测外参；

模型训练模块75，用于根据预测外参对待训练模型进行训练，生成传感器外参标定模型。

本公开实施例所公开的传感器外参标定模型的训练装置70可执行本公开实施例所公开的传感器外参标定模型的训练方法，具备执行方法相应的功能模块和有益效果。本实施例中未详尽描述的内容可以参考本公开方法实施例中的描述。

本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图8所示，设备800包括计算单元801，其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序，来执行各种适当的动作和处理。在RAM 803中，还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如传感器外参标定方法和/或传感器外参标定模型的训练方法。例如，在一些实施例中，传感器外参标定方法和/或传感器外参标定模型的训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时，可以执行上文描述的传感器外参标定方法和/或传感器外参标定模型的训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行传感器外参标定方法和/或传感器外参标定模型的训练方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (21)

1.一种传感器外参标定方法，包括：

在确定目标载体满足外参标定条件的情况下，获取目标相机在第一时刻所采集的目标图像帧，以及目标激光雷达在第二时刻所采集的目标点云；其中，目标相机和目标激光雷达搭载于所述目标载体上；

对所述目标点云进行坐标系转换，确定所述目标点云在转换雷达坐标系中对应的转换点云；其中，所述转换雷达坐标系表示在所述第一时刻时所述目标激光雷达对应的雷达坐标系；

对所述目标图像帧进行特征提取，获取图像特征图，以及对所述转换点云对应的深度图进行特征提取，获取点云特征图；

根据所述图像特征图以及所述点云特征图，确定所述目标相机和所述目标激光雷达之间的目标外参。

2.根据权利要求1所述的方法，其中，所述对所述目标点云进行坐标系转换，确定所述目标点云在转换雷达坐标系中对应的转换点云，包括：

确定所述目标载体在所述第一时刻对应的第一载体位姿，以及在所述第二时刻对应的第二载体位姿；

根据雷达相对位姿和所述第一载体位姿，确定在所述第一时刻时所述目标激光雷达的第一雷达位姿，以及根据所述雷达相对位姿和所述第二载体位姿，确定在所述第二时刻时所述目标激光雷达的第二雷达位姿；其中，所述雷达相对位姿为所述目标激光雷达和所述目标载体之间的相对位姿；

根据所述第一雷达位姿以及所述第二雷达位姿，对所述目标点云进行坐标系转换，确定所述目标点云在转换雷达坐标系中对应的转换点云。

3.根据权利要求2所述的方法，其中，所述根据所述第一雷达位姿以及所述第二雷达位姿，对所述目标点云进行坐标系转换，确定所述目标点云在转换雷达坐标系中对应的转换点云，包括：

根据所述第一雷达位姿以及所述第二雷达位姿，确定当前雷达坐标系与所述转换雷达坐标系之间的坐标系转换矩阵；其中，所述当前雷达坐标系表示在所述第二时刻时所述目标激光雷达对应的雷达坐标系；

根据所述坐标系转换矩阵对所述目标点云进行坐标系转换，确定所述目标点云在转换雷达坐标系中对应的转换点云。

4.根据权利要求3所述的方法，其中，所述根据所述第一雷达位姿以及所述第二雷达位姿，确定当前雷达坐标系与所述转换雷达坐标系之间的坐标系转换矩阵，包括：

采用如下公式确定所述坐标系转换矩阵：

其中，ΔT表示所述坐标系转换矩阵，表示所述第一雷达位姿，/>表示所述第二雷达位姿。

5.根据权利要求1所述的方法，其中，所述根据所述图像特征图以及所述点云特征图，确定所述目标相机和所述目标激光雷达之间的目标外参，包括：

根据所述图像特征图确定所述目标相机的目标相机类别，并确定所述图像特征图和所述点云特征图之间的特征图相似度；

根据所述目标相机类别和所述特征图相似度，确定所述目标相机和所述目标激光雷达之间的目标相对平移矩阵以及目标相对旋转矩阵。

6.根据权利要求1所述的方法，所述在确定目标载体满足外参标定条件的情况下，获取目标相机在第一时刻所采集的目标图像帧，以及目标激光雷达在第二时刻所采集的目标点云之前，还包括：

获取所述目标载体在目标时间段内的运动属性信息；其中，所述运动属性信息包括目标横滚角、目标俯仰角和目标速度中的至少一种；

根据所述运动属性信息确定所述目标载体是否满足所述外参标定条件。

7.根据权利要求6所述的方法，其中，所述外参标定条件包括道路平整度子条件；

所述根据所述运动属性信息确定所述目标载体是否满足所述外参标定条件，包括：

确定所述目标横滚角在所述目标时间段内的第一统计数据，以及所述目标俯仰角在所述目标时间段内的第二统计数据；其中，所述第一统计数据包括横滚角波动值和横滚角标准差，所述第二统计数据包括俯仰角波动值和俯仰角标准差；

根据所述目标横滚角、所述目标俯仰角、所述第一统计数据和所述第二统计数据，确定所述目标载体是否满足所述道路平整度子条件；

若是，则确定所述目标载体满足所述外参标定条件；

其中，所述道路平整度子条件包括如下至少一种：

所述目标横滚角满足3σ原则；

所述目标俯仰角满足3σ原则；

所述横滚角波动值小于横滚角波动阈值；

所述横滚角标准差小于横滚角标准差阈值；

所述俯仰角波动值小于俯仰角波动阈值；

所述俯仰角标准差小于俯仰角标准差阈值。

8.根据权利要求6所述的方法，其中，所述外参标定条件包括载体速度子条件；

所述根据所述运动属性信息确定所述目标载体是否满足所述外参标定条件，包括：

确定所述目标速度在所述目标时间段内的第三统计数据；其中，所述第三统计数据包括最大目标速度和最小目标速度；

根据所述第三统计数据确定所述目标载体是否满足所述载体速度子条件；

若是，则确定所述目标载体满足所述外参标定条件；

其中，所述载体速度子条件包括如下至少一种：

所述最大目标速度小于速度上限值；

所述最小目标速度大于速度下限值。

9.一种传感器外参标定模型的训练方法，包括：

获取目标相机在第一时刻所采集的样本图像帧，以及目标激光雷达在第二时刻所采集的样本点云；其中，目标相机和目标激光雷达搭载于目标载体上；

对所述样本点云进行坐标系转换，确定所述样本点云在转换雷达坐标系中对应的转换点云；其中，所述转换雷达坐标系表示在所述第一时刻时所述目标激光雷达对应的雷达坐标系；

通过待训练模型对所述样本图像帧进行特征提取，获取样本图像特征图，以及对所述转换点云对应的深度图进行特征提取，获取样本点云特征图；

通过所述待训练模型根据所述样本图像特征图以及所述样本点云特征图，确定所述目标相机和所述目标激光雷达之间的预测外参；

根据所述预测外参对所述待训练模型进行训练，生成传感器外参标定模型。

10.一种传感器外参标定装置，包括：

目标数据获取模块，用于在确定目标载体满足外参标定条件的情况下，获取目标相机在第一时刻所采集的目标图像帧，以及目标激光雷达在第二时刻所采集的目标点云；其中，目标相机和目标激光雷达搭载于所述目标载体上；

第一坐标系转换模块，用于对所述目标点云进行坐标系转换，确定所述目标点云在转换雷达坐标系中对应的转换点云；其中，所述转换雷达坐标系表示在所述第一时刻时所述目标激光雷达对应的雷达坐标系；

第一特征提取模块，用于对所述目标图像帧进行特征提取，获取图像特征图，以及对所述转换点云对应的深度图进行特征提取，获取点云特征图；

目标外参确定模块，用于根据所述图像特征图以及所述点云特征图，确定所述目标相机和所述目标激光雷达之间的目标外参。

11.根据权利要求10所述的装置，其中，所述第一坐标系转换模块，具体用于：

确定所述目标载体在所述第一时刻对应的第一载体位姿，以及在所述第二时刻对应的第二载体位姿；

根据雷达相对位姿和所述第一载体位姿，确定在所述第一时刻时所述目标激光雷达的第一雷达位姿，以及根据所述雷达相对位姿和所述第二载体位姿，确定在所述第二时刻时所述目标激光雷达的第二雷达位姿；其中，所述雷达相对位姿为所述目标激光雷达和所述目标载体之间的相对位姿；

根据所述第一雷达位姿以及所述第二雷达位姿，对所述目标点云进行坐标系转换，确定所述目标点云在转换雷达坐标系中对应的转换点云。

12.根据权利要求11所述的装置，其中，所述第一坐标系转换模块，具体还用于：

根据所述第一雷达位姿以及所述第二雷达位姿，确定当前雷达坐标系与所述转换雷达坐标系之间的坐标系转换矩阵；其中，所述当前雷达坐标系表示在所述第二时刻时所述目标激光雷达对应的雷达坐标系；

根据所述坐标系转换矩阵对所述目标点云进行坐标系转换，确定所述目标点云在转换雷达坐标系中对应的转换点云。

13.根据权利要求12所述的装置，其中，所述第一坐标系转换模块，具体还用于：

采用如下公式确定所述坐标系转换矩阵：

其中，ΔT表示所述坐标系转换矩阵，表示所述第一雷达位姿，/>表示所述第二雷达位姿。

14.根据权利要求10所述的装置，其中，所述目标外参确定模块，具体用于：

根据所述图像特征图确定所述目标相机的目标相机类别，并确定所述图像特征图和所述点云特征图之间的特征图相似度；

根据所述目标相机类别和所述特征图相似度，确定所述目标相机和所述目标激光雷达之间的目标相对平移矩阵以及目标相对旋转矩阵。

15.根据权利要求10所述的装置，所述装置还包括外参标定条件校验模块，具体用于：

获取所述目标载体在目标时间段内的运动属性信息；其中，所述运动属性信息包括目标横滚角、目标俯仰角和目标速度中的至少一种；

根据所述运动属性信息确定所述目标载体是否满足所述外参标定条件。

16.根据权利要求15所述的装置，其中，所述外参标定条件包括道路平整度子条件；

所述外参标定条件校验模块，具体还用于：

确定所述目标横滚角在所述目标时间段内的第一统计数据，以及所述目标俯仰角在所述目标时间段内的第二统计数据；其中，所述第一统计数据包括横滚角波动值和横滚角标准差，所述第二统计数据包括俯仰角波动值和俯仰角标准差；

根据所述目标横滚角、所述目标俯仰角、所述第一统计数据和所述第二统计数据，确定所述目标载体是否满足所述道路平整度子条件；

若是，则确定所述目标载体满足所述外参标定条件；

其中，所述道路平整度子条件包括如下至少一种：

所述目标横滚角满足3σ原则；

所述目标俯仰角满足3σ原则；

所述横滚角波动值小于横滚角波动阈值；

所述横滚角标准差小于横滚角标准差阈值；

所述俯仰角波动值小于俯仰角波动阈值；

所述俯仰角标准差小于俯仰角标准差阈值。

17.根据权利要求15所述的装置，其中，所述外参标定条件包括载体速度子条件；

所述外参标定条件校验模块，具体还用于：

确定所述目标速度在所述目标时间段内的第三统计数据；其中，所述第三统计数据包括最大目标速度和最小目标速度；

根据所述第三统计数据确定所述目标载体是否满足所述载体速度子条件；

若是，则确定所述目标载体满足所述外参标定条件；

其中，所述载体速度子条件包括如下至少一种：

所述最大目标速度小于速度上限值；

所述最小目标速度大于速度下限值。

18.一种传感器外参标定模型的训练装置，包括：

样本数据获取模块，用于获取目标相机在第一时刻所采集的样本图像帧，以及目标激光雷达在第二时刻所采集的样本点云；其中，目标相机和目标激光雷达搭载于目标载体上；

第二坐标系转换模块，用于对所述样本点云进行坐标系转换，确定所述样本点云在转换雷达坐标系中对应的转换点云；其中，所述转换雷达坐标系表示在所述第一时刻时所述目标激光雷达对应的雷达坐标系；

第二特征提取模块，用于通过待训练模型对所述样本图像帧进行特征提取，获取样本图像特征图，以及对所述转换点云对应的深度图进行特征提取，获取样本点云特征图；

预测外参确定模块，用于通过所述待训练模型根据所述样本图像特征图以及所述样本点云特征图，确定所述目标相机和所述目标激光雷达之间的预测外参；

模型训练模块，用于根据所述预测外参对所述待训练模型进行训练，生成传感器外参标定模型。

19.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8和/或权利要求9中任一项所述的方法。

20.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-8和/或权利要求9中任一项所述的方法。

21.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-8和/或权利要求9中任一项所述的方法。