CN115345944A - 外参标定参数确定方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种外参标定参数确定方法、装置、计算机设备、存储介质和计算机程序产品。该方法包括：获取第一采样设备采集得到的第一环境数据、以及第二采样设备采集得到的第二环境数据；确定对第一环境数据进行环境元素识别所得到的第一元素识别结果、以及对第二环境数据进行环境元素识别所得到的第二元素识别结果；基于移动设备位姿数据，将第一元素识别结果和第二元素识别结果中的一者转换为与另一者数据类型相同的转换结果；基于与转换结果数据类型相同的元素识别结果和转换结果之间的元素位置差异，确定第一采样设备相对于第二采样设备的外参标定参数。采用本方法能够扩展外参标定参数确定方法的应用场景。本申请可应用于自动驾驶领域。

Description

外参标定参数确定方法、装置、计算机设备和存储介质

技术领域

本申请涉及图像数据处理技术领域，特别是涉及一种外参标定参数确定方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

背景技术

随着计算机技术的快速发展，出现了自动驾驶技术，通过在移动设备上安装采样设备感知移动设备所在的环境，得到环境感知结果，进而基于环境感知结果实现自动驾驶。为提高采样设备的综合环境感知能力，通常需要在移动设备上安装多个采样设备，并基于不同采样设备之间的外参标定参数，对不同采样设备的采样结果进行外参标定和采样数据融合，获得环境感知综合结果。

传统的外参标定参数确定方法，依赖于特定的标定板和标定设备，通过选取各采样设备各自采集得到的数据中与标定板关联的多个特征点，并基于这些特征点进行外参结算，获得外参标定参数。由于传统的外参标定参数确定方法依赖于特定场景和设备，基于该外参标定参数所得到的外参标定结果的准确性与采样设备的位置直接相关。然而，移动设备移动过程中，可能会致使采样设备出现位置滑动或角度偏移，使用传统方法得到的外参标定参数进行外参标定，将导致较大的标定误差。因此，传统的外参标定参数确定方法，存在应用场景受限的缺点。

发明内容

基于此，有必要针对上述技术问题，提供一种能够扩展外参标定参数方法的应用场景的外参标定参数确定方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

第一方面，本申请提供了一种外参标定参数确定方法。所述方法包括：

获取第一采样设备采集得到的第一环境数据、以及第二采样设备采集得到的第二环境数据；所述第一采样设备和所述第二采样设备安装于同一移动设备；所述第一环境数据和所述第二环境数据中包括针对同一环境采集的数据；

确定对所述第一环境数据进行环境元素识别所得到的第一元素识别结果、以及对所述第二环境数据进行环境元素识别所得到的第二元素识别结果；

当所述第一元素识别结果和所述第二元素识别结果各自对应的数据类型不同时，基于在所述环境下采集的移动设备位姿数据，将所述第一元素识别结果和所述第二元素识别结果中的一者转换为与另一者数据类型相同的转换结果；

基于与所述转换结果数据类型相同的元素识别结果和所述转换结果之间的元素位置差异，确定所述第一采样设备相对于所述第二采样设备的外参标定参数。

第二方面，本申请还提供了一种外参标定参数确定装置。所述装置包括：

获取模块，用于获取第一采样设备采集得到的第一环境数据、以及第二采样设备采集得到的第二环境数据；所述第一采样设备和所述第二采样设备安装于同一移动设备；所述第一环境数据和所述第二环境数据中包括针对同一环境采集的数据；

环境元素识别模块，用于确定对所述第一环境数据进行环境元素识别所得到的第一元素识别结果、以及对所述第二环境数据进行环境元素识别所得到的第二元素识别结果；

数据转换模块，用于当所述第一元素识别结果和所述第二元素识别结果各自对应的数据类型不同时，基于在所述环境下采集的移动设备位姿数据，将所述第一元素识别结果和所述第二元素识别结果中的一者转换为与另一者数据类型相同的转换结果；

外参标定参数确定模块，用于基于与所述转换结果数据类型相同的元素识别结果和所述转换结果之间的元素位置差异，确定所述第一采样设备相对于所述第二采样设备的外参标定参数。

第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取第一采样设备采集得到的第一环境数据、以及第二采样设备采集得到的第二环境数据；所述第一采样设备和所述第二采样设备安装于同一移动设备；所述第一环境数据和所述第二环境数据中包括针对同一环境采集的数据；

确定对所述第一环境数据进行环境元素识别所得到的第一元素识别结果、以及对所述第二环境数据进行环境元素识别所得到的第二元素识别结果；

当所述第一元素识别结果和所述第二元素识别结果各自对应的数据类型不同时，基于在所述环境下采集的移动设备位姿数据，将所述第一元素识别结果和所述第二元素识别结果中的一者转换为与另一者数据类型相同的转换结果；

基于与所述转换结果数据类型相同的元素识别结果和所述转换结果之间的元素位置差异，确定所述第一采样设备相对于所述第二采样设备的外参标定参数。

第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取第一采样设备采集得到的第一环境数据、以及第二采样设备采集得到的第二环境数据；所述第一采样设备和所述第二采样设备安装于同一移动设备；所述第一环境数据和所述第二环境数据中包括针对同一环境采集的数据；

确定对所述第一环境数据进行环境元素识别所得到的第一元素识别结果、以及对所述第二环境数据进行环境元素识别所得到的第二元素识别结果；

当所述第一元素识别结果和所述第二元素识别结果各自对应的数据类型不同时，基于在所述环境下采集的移动设备位姿数据，将所述第一元素识别结果和所述第二元素识别结果中的一者转换为与另一者数据类型相同的转换结果；

基于与所述转换结果数据类型相同的元素识别结果和所述转换结果之间的元素位置差异，确定所述第一采样设备相对于所述第二采样设备的外参标定参数。

第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

获取第一采样设备采集得到的第一环境数据、以及第二采样设备采集得到的第二环境数据；所述第一采样设备和所述第二采样设备安装于同一移动设备；所述第一环境数据和所述第二环境数据中包括针对同一环境采集的数据；

确定对所述第一环境数据进行环境元素识别所得到的第一元素识别结果、以及对所述第二环境数据进行环境元素识别所得到的第二元素识别结果；

当所述第一元素识别结果和所述第二元素识别结果各自对应的数据类型不同时，基于在所述环境下采集的移动设备位姿数据，将所述第一元素识别结果和所述第二元素识别结果中的一者转换为与另一者数据类型相同的转换结果；

基于与所述转换结果数据类型相同的元素识别结果和所述转换结果之间的元素位置差异，确定所述第一采样设备相对于所述第二采样设备的外参标定参数。

上述外参标定参数确定方法、装置、计算机设备、计算机可读存储介质和计算机程序产品，获取第一采样设备和第二采样设备针对同一环境采集得到的环境数据，确定对各环境数据进行环境识别所得到的元素识别结果，并在各元素识别结果各自对应的数据类型不同时，基于在该环境下采集得到的移动设备位姿数据，将各元素识别结果中的一者转换为与另一者数据类型相同的转换结果，最后基于与转换结果数据类型相同的元素识别结果和转换结果之间的元素位置差异，确定第一采样设备相对于第二采样设备的外参标定参数，可以不必受限于特定场景和设备，能够支持安装于同一移动设备的不同采样设备之间的实时外参标定，确保不同场景下外参标定结果的准确性，有利于扩展外参标定参数确定方法的应用场景。

附图说明

图1为一个实施例中外参标定参数确定方法的应用环境图；

图2为一个实施例中外参标定参数确定方法的流程示意图；

图3为一个实施例中各环境数据各自对应的采样环境范围示意图；

图4为一个实施例中的二维环境图像数据示意图；

图5为与图4对应的同一环境下的三维环境点云数据示意图；

图6为一个实施例中的车载采样设备相对位置示意图；

图7为另一个实施例中外参标定参数确定方法的流程示意图；

图8为一个实施例中外参标定参数确定过程示意图；

图9为一个实施例中进行外参标定前同一道路信息标识牌对应的图像标牌和图像投影标牌的相对位置示意图；

图10为图9对应的实施例中进行外参标定后同一道路信息标识牌对应的图像标牌和图像投影标牌的相对位置示意图；

图11为一个实施例中外参标定参数确定装置的结构框图；

图12为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例提供的外参标定参数确定方法，在终端的数据处理能力满足数据处理要求的情况下，可以应用于如图1所示的应用环境中。其中，第一采样设备101和第二采样设备102安装于同一移动设备，第一采样设备101和第二采样设备102可以分别通过网络与终端103进行通信。终端103在确定第一采样设备相对于第二采样设备的外参标定参数的过程中：获取第一采样设备101采集得到的第一环境数据、以及第二采样设备102采集得到的第二环境数据；第一环境数据和第二环境数据中包括针对同一环境采集的数据；确定对第一环境数据进行环境元素识别所得到的第一元素识别结果、以及对第二环境数据进行环境元素识别所得到的第二元素识别结果；当第一元素识别结果和第二元素识别结果各自对应的数据类型不同时，基于在该环境下采集的移动设备位姿数据，将第一元素识别结果和第二元素识别结果中的一者转换为与另一者数据类型相同的转换结果；基于与转换结果数据类型相同的元素识别结果和转换结果之间的元素位置差异，确定第一采样设备101相对于第二采样设备102的外参标定参数。

在一个实施例中，本申请实施例提供的外参标定参数确定方法，其应用环境可以不涉及终端，仅包括第一采样设备101、第二采样设备102和服务器。在该实施例的情形下，第一采样设备101和第二采样设备102分别通过网络与服务器进行通信，由服务器获取第一采样设备101和第二采样设备102针对同一环境分别采集得到的环境数据，并基于各环境数据确定第一采样设备101相对于第二采样设备102的外参标定参数。

其中，终端103可以但不限于是手机、电脑、智能语音交互设备、智能家电、车载终端、飞行器等。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。第一采样设备101和第二采样设备102与终端103进行通信的具体方式，可以是有线通信，也可以是无线通信。

在一些实施例中，如图2所示，提供了一种外参标定参数确定方法，以该方法应用于图1中的终端为例进行说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：

步骤202，获取第一采样设备采集得到的第一环境数据、以及第二采样设备采集得到的第二环境数据。

其中，第一采样设备和第二采样设备安装于同一移动设备；第一环境数据和第二环境数据中包括针对同一环境采集的数据。该移动设备可以为具备移动功能的设备，具体可以包括车辆、船舶或飞行器等。该车辆可以是电动车、燃油车、混动车中的任意一类。该飞行器可以是直升机、无人机等中的任意一类。在一个具体的应用中，移动设备可以为四轮汽车。总之，本申请对移动设备的具体类型不作限定。第一采样设备和第二采样设备是可以对移动设备所处环境进行数据采样的设备，该第一采样设备和第二采样设备可以是基于各类传感器的采样设备，例如图像传感设备、电磁波探测设备或红外探测设备等。在一个具体的应用中，第一采样设备和第二采样设备分别为相机和雷达中的一者。

可以理解，由于第一采样设备和第二采样设备均安装于移动设备，在移动过程中，移动设备所处的环境将发生变化。第一环境数据和第二环境数据中包括针对同一环境采集的数据，是指第一环境数据和第二环境数据中包括同一采样时刻采集的环境数据，且该采样时刻对应的第一环境数据和第二环境数据中包括针对移动设备所处环境中的同一局部环境的环境数据。

具体地，终端获取第一采样设备采集得到的第一环境数据、以及第二采样设备采集得到的第二环境数据。终端获取第一环境数据和第二环境数据的具体方式，可以是主动获取，也可以是被动接收。进一步地，终端获取第一环境数据和第二环境数据的时机并不唯一。在一些实施例中，终端在移动设备每次启动时，重新获取第一环境数据和第二环境数据，并基于该第一环境数据和第二环境数据确定第一采样设备相对于第二采样设备的外参标定参数。在一些实施例中，终端在移动设备移动的过程中，实时获取、或者每间隔设定时间周期性地获取第一环境数据和第二环境数据，以便对第一采样设备相对于第二采样设备的外参标定参数进行及时更新。

步骤204，确定对第一环境数据进行环境元素识别所得到的第一元素识别结果、以及对第二环境数据进行环境元素识别所得到的第二元素识别结果。

其中，环境元素是指移动设备所在环境的组成元素。该环境元素可以包括环境标识牌、环境标识线、植物和路灯等静态环境元素，也可以包括其他移动设备、气候元素、行人和动物等动态环境元素。该气候元素可以包括云、月亮、星星等等。以移动设备为车辆的情况为例，该环境元素可以包括交通标示牌和车道标识线等。在一个具体的应用中，环境元素为道路信息标识牌。由于道路信息标识牌的形状规则，并且通常具备反光效果，与周围的其他环境元素对比强烈，比较容易被识别，有利于提高环境元素识别过程的工作效率。进一步地，对环境数据进行环境元素识别得到元素识别结果的过程，是从环境数据中识别出环境元素的过程。也即，第一元素识别结果和第二元素识别结果中至少分别包括一个环境元素所对应的元素信息，该元素信息可以包括但不限于是该环境元素的位置信息、语义信息和形状信息，等等。在一些实施例中，元素信息至少包括环境元素的位置信息，以便后续进行元素位置差异的计算。

具体地，终端通过对第一环境数据进行环境元素识别，可以获得第一环境数据对应的第一元素识别结果，通过对第二环境数据进行环境元素识别，可以获得第二环境数据对应的第二元素识别结果。进一步地，终端可以先确定第一环境数据和第二环境数据中针对同一环境采集得到的目标环境数据，再通过对第一环境数据和第二环境数据中各自对应的目标环境数据进行环境元素识别，获得第一环境数据中第一目标环境数据对应的第一元素识别结果、以及第二环境数据中第二目标环境数据对应的第二元素识别结果，以降低环境元素识别过程的工作量，提高工作效率。如图3所示，区域A为第一环境数据对应的第一采样环境范围，区域B为第二环境数据对应的第二采样环境范围，则终端只需要对区域C对应的目标环境数据进行环境元素识别，以提高效率。

此外，终端对环境数据进行环境元素识别的具体方法并不唯一，且该环境元素识别方法与环境数据的具体类型匹配。以第一采样设备为相机，第一环境数据为二维环境图像数据的情况为例。终端可以通过识别二维环境图像数据中具有鲜明特征的视觉信息，例如边缘、角点等，从二维环境图像数据中获得元素识别结果；终端也可以基于深度学习算法对二维环境图像数据进行语义分析，从二维环境图像数据中识别出不同语义的环境元素，例如道路信息标识牌。

步骤206，当第一元素识别结果和第二元素识别结果各自对应的数据类型不同时，基于在该环境下采集的移动设备位姿数据，将第一元素识别结果和第二元素识别结果中的一者转换为与另一者数据类型相同的转换结果。

如上文所述的，第一元素识别结果和第二元素识别结果中至少分别包括一个环境元素所对应的元素信息，该元素信息可以包括但不限于是该环境元素的位置信息、语义信息和形状信息等等。基于此，第一元素识别结果和第二元素识别结果各自对应的数据类型不同，是指第一元素识别结果和第二元素识别结果中同一元素信息所对应的数据类型不同。例如，第一元素识别结果中的位置信息为二维位置信息，而第二元素识别结果中的位置信息为三维位置信息。又如，第一元素识别结果中的形状信息通过点表征，第二元素识别结果中的形状信息通过线表征。进一步地，移动设备位姿数据是指在第一环境数据和第二环境数据所对应的环境下采集得到的移动设备的位姿数据。该移动设备位姿数据可以反映移动设备的位姿信息，例如旋转信息和平移信息。也即，移动设备位姿数据可以用于表征移动设备在当前环境下的位置信息和姿态信息。移动设备位姿数据的采样设备，可以是安装于移动设备的惯性导航设备和/或定位设备。

具体地，当第一元素识别结果和第二元素识别结果各自对应的数据类型不同时，无法直接对第一元素识别结果和第二元素识别结果进行比较。此时，终端可以基于在同一环境下采集的移动设备位姿数据，通过位姿关联将第一元素识别结果和第二元素识别结果中的一者转换为与另一者数据类型相同的转换结果。例如，终端可以将第一元素识别结果转换为与第二元素识别结果数据类型相同的转换结果，也可以将第二元素识别结果转换为与第一元素识别结果数据类型相同的转换结果。

步骤S208，基于与转换结果数据类型相同的元素识别结果和转换结果之间的元素位置差异，确定第一采样设备相对于第二采样设备的外参标定参数。

其中，元素位置差异可以是指环境元素中某一特征点的位置差异，如中心点的位置差异或边缘角点位置差异；也可以是指环境元素某一方向上的尺寸差异，例如宽度差异或高度差异；还可以是指环境元素相对于其他元素的位置差异，例如两个车道线之间夹角差异，或者车道线相对于护栏的距离差异。进一步地，外参是可以表征不同采样设备之间相对位置关系的参数。第一采样设备相对于第二采样设备的外参标定参数，可以是指第一采样设备到第二采样设备的外参标定参数，也可以是指第二采样设备到第一采样设备的外参标定参数。

具体地，终端基于元素识别结果和转换结果中的各环境元素各自对应的元素信息，可以确定元素识别结果和转换结果各自对应的元素位置，进而计算得到元素识别结果和转换结果之间的元素位置差异，确定能够减小该元素位置差异的第一采样设备相对于第二采样设备的外参标定参数。在一些实施例中，第一采样设备相对于第二采样设备的外参标定参数用以抵消元素识别结果和转换结果之间的元素位置差异。具体地，终端可以令元素位置差异为零，构建方程组求解得到的外参标定参数。

需要说明的是，当第一元素识别结果和第二元素识别结果各自对应的数据类型相同时，则无需进行数据转换，终端可以直接确定第一元素识别结果和第二元素识别结果之间的元素位置差异，进而确定第一采样设备相对于第二采样设备的外参标定参数。例如，第一采样设备和第二采样设备为同一类型采样设备的情况下，终端可以直接基于数据类型相同的第一元素识别结果和第二元素识别结果确定元素位置差异，进而确定第一采样设备相对于第二采样设备的外参标定参数。

在一个具体的应用中，第一采样设备和第二采样设备为安装于不同位置的车载相机，为对各车载相机的采样数据进行拼接处理获得全景图像数据，需要先确定各车载相机之间的外参标定参数。具体地，终端可以获取各车载相机分别采集得到的环境数据，并对各环境数据分别进行环境元素识别得到各环境数据各自对应的元素识别结果，然后再基于各元素识别结果中针对同一环境元素的位置信息，确定各元素识别结果之间的元素位置差异，进而确定各车载相机之间的外参标定参数。

可以理解，实际应用过程中，若涉及两个以上采样设备之间的外参标定，同样可以通过两两标定的方式实现。例如，涉及a、b和c三个采样设备的情况下，可以先基于本申请中记载的外参标定参数确定方法，确定a相对于b的外参标定参数、b相对于c的外参标定参数、以及a相对于c的外参标定参数中的任意两个，再基于各外参标定参数实现a、b、c三个采样设备之间的外参标定。

上述外参标定参数确定方法中，获取第一采样设备和第二采样设备针对同一环境采集得到的环境数据，并确定对各环境数据进行环境识别所得到的元素识别结果，并在各元素识别结果各自对应的数据类型不同时，基于在该环境下采集得到的移动设备位姿数据，将各元素识别结果中的一者转换为与另一者数据类型相同的转换结果，最后基于与转换结果数据类型相同的元素识别结果和转换结果之间的元素位置差异，确定第一采样设备相对于第二采样设备的外参标定参数，可以不必受限于特定场景和设备，能够支持安装于同一移动设备的不同采样设备之间的实时外参标定，确保不同场景下外参标定结果的准确性，有利于扩展外参标定参数确定方法的应用场景。

在一些实施例中，第一采样设备和第二采样设备均为车载设备。在该实施的情形下，步骤S202包括：获取同一时间区间内第一采样设备采集得到的第一环境数据、以及第二采样设备采集得到的第二环境数据，或者，获取同一行驶区间内第一采样设备采集得到的第一环境数据、以及第二采样设备采集得到的第二环境数据。

进一步地，若第一环境数据和第二环境数据为同一时间区间内采集得到的，则在该环境下采集的移动设备位姿数据为该同一时间区间内采集的移动设备位姿数据；若第一环境数据和第二环境数据为同一行驶区间内采集得到的，则在该环境下采集的移动设备位姿数据为该同一行驶区间内采集的移动设备位姿数据。

具体地，终端可以获取同一时间区间内第一采样设备采集得到的第一环境数据、第二采样设备采集得到的第二环境数据、以及该时间区间内采集的移动设备位姿数据，或者获取同一行驶区间内第一采样设备采集得到的第一环境数据、第二采样设备采集得到的第二环境数据、以及该行驶区间内采集的移动设备位姿数据，以确保第一环境数据、第二环境数据和移动位姿数据中至少包含一部分采样时刻相同的数据。进一步地，终端还可以通过对各采样设备的采样频率和采样起始时刻进行配置，增大第一环境数据、第二环境数据和移动位姿数据中采样时刻相同数据的数据量。在一些实施例中，第一环境数据、第二环境数据和移动设备位姿数据的采样时刻相同。

本实施例中，终端获取同一时间区间或同一行驶区间内采集得到的第一环境数据、第二环境数据和移动位姿数据，可以确保第一环境数据、第二环境数据和移动位姿数据中至少包含一部分采样时刻相同的数据，进而确保后续元素位置差异计算过程的顺利进行，有利于提高外参标定参数确定方法的科学性。

在一些实施例中，第一环境数据和第二环境数据分别为二维环境图像数据和三维环境点云数据中的一者，步骤S204包括：对二维环境图像数据进行图像语义识别，获得图像元素识别结果；对三维环境点云数据进行点云形状识别，获得点云元素识别结果。

其中，第一环境数据和第二环境数据分别为二维环境图像数据和三维环境点云数据中的一者，是指：若第一环境数据为二维环境图像数据，则第二环境数据为三维环境点云数据，若第二环境数据为三维环境点云数据，则第一环境数据为二维环境图像数据。

具体地，终端对二维环境图像数据进行图像语义识别，获得通过语义信息表征的图像元素识别结果；对三维环境点云数据进行点云形状识别，获得通过点云形状表征的点云元素识别结果。以车载场景为例，某一时刻对应的二维环境图像数据可以如图4所示，该时刻对应的三维环境点云数据可以如图5所示。通过对图4中二维环境图像数据进行图像语义识别，可以获得包含道路信息标识牌和树的图像元素识别结果；通过对图5中的三维环境点云数据进行点云形状识别，可以获得对应的点云元素识别结果，如图5中由方形点云表征的道路信息标识牌。

进一步地，终端对二维环境图像数据进行图像语义识别的具体算法并不唯一。例如，终端可以通过识别二维环境图像数据中具有鲜明特征的视觉信息，从二维环境图像数据中获得元素识别结果；终端也可以基于深度学习算法对二维环境图像数据进行语义分析，从二维环境图像数据中识别出不同语义的环境元素。同样的，终端对三维环境点云数据进行点云形状识别的具体算法也不唯一。例如，终端可以基于RANSAC(RANdom SAmpleConsensus，随机抽样一致算法)、3D卷积神经网络算法或点云分割算法(PointNet)等算法中的至少一种，对三维环境点云数据进行点云形状识别，获得环境元素对应的点云元素识别结果。

本实施例中，针对不同数据类型的环境数据，采用不同的点云元素识别方式获得对应的元素识别结果，可以确保元素识别结果的准确性，进而确保基于元素识别结果确定的外参标定参数的准确性。

在一些实施例中，二维环境图像数据的采样设备为车载相机，三维环境点云数据的采样设备为车载雷达，移动设备位姿数据的采样设备为车载惯导系统。在该实施例的情形下，步骤S206包括：基于车载惯导系统在该环境下采集的移动设备位姿数据，将点云元素识别结果中的三维位置数据转换成二维数据。步骤S208包括：基于图像元素识别结果中的二维位置数据和二维数据之间的元素位置差异，确定车载相机相对于车载雷达的外参标定参数。

其中，车载雷达具体可以是激光雷达。车载惯导系统可以包括车载加速度计和车载陀螺仪。移动设备位姿数据是指车辆的位姿数据。车载相机相对于车载雷达的外参标定参数可以是指从车载相机到车载雷达的外参标定参数，也可以是指车载雷达到车载相机的外参标定参数。在一些实施例中，车载雷达相对于车载相机稳定性更高，以车载雷达为基准实现对车载相机的标定。即，该实施例的情形下，车载相机相对于车载雷达的外参标定参数，是指从车载相机到车载雷达的外参标定参数。

具体地，车载相机、车载雷达和车载惯导系统安装于同一车辆。由车载相机采集得到车辆所在环境的二维环境图像数据，由车载雷达采集得到该环境下的三维环境点云数据，由车载惯导系统采集得到该环境下的车辆的位姿数据。终端在对二维环境图像数据和三维环境点云数据分别进行环境元素识别，获得图像元素识别结果和点云元素识别结果后，基于该车辆的位姿数据，将点云元素识别结果中的三维位置数据转换成二维数据，获得三维环境点云数据所表征的环境元素的二维位置信息。然后，再基于图像元素识别结果中的二维位置数据和转换后得到的二维数据，确定二维环境图像数据和三维环境点云数据之间的元素位置差异，进而确定用以补偿该元素位置差异的车载相机相对于车载雷达的外参标定参数。

本实施例中，在车载场景下基于二维环境图像数据、三维环境点云数据和移动设备位姿数据确定车载相机相对于车载雷达的外参标定参数，可以实现对车载相机的在线标定，解决由于道路颠簸、刹车、采样设备重新安装等引起的外参不准确的问题，有利于提高外参标定参数的准确性。

在一些实施例中，二维环境图像数据的采样设备为建立有相机坐标系的相机。步骤S206包括：确定移动设备位姿数据所在的惯导坐标系相对于点云元素识别结果所在的世界坐标系的第一转换参数；根据相机坐标系相对于惯导坐标系的第二转换参数、相机坐标系相对于二维环境图像数据所在的图像坐标系的第三转换参数、以及第一转换参数，将处于世界坐标系的点云元素识别结果投影至图像坐标系所表征的二维空间，获得点云元素识别结果对应的图像元素转换结果。

其中，相机坐标系是指以相机为原点建立的坐标系。图像坐标系是指以相机投影面中图像的某一点为原点建立的以像素为单位的直角坐标系。基于相机成像原理可以实现相机坐标系和图像坐标系的转换。如图6所示，车载相机、车载雷达和车载惯导系统安装于同一车辆。由于相机的采样范围受限，为实现车辆所在环境的全景环境数据采集，通常在车辆上安装多个车载相机，如图6中，车载相机包括相机1至相机5等五个车载相机，且各车载相机分别用于采集不同方位的环境数据。进一步地，在一些实施例中，请继续参考图6，可以在车载惯导系统(Inertial Measurement Unit，IMU)的基础上，集成全球定位系统(GlobalPositioning System，GPS)，以便在兼顾采样频率的基础上，基于GPS的测量数据对IMU进行校准，确保车辆位姿数据的准确性。

为实现各车载相机相对于车载雷达的外参标定，可以分别确定每一车载相机相对于车载雷达的外参标定参数；也可以仅确定某一车载相机相对于车载雷达的外参标定参数、以及各车载相机之间的外参标定参数，如图6中，可以仅确定相机5与雷达之间的外参标定参数，以及相机1至相机5中两两之间的外参标定参数。其中，确定相机与雷达之间的外参标定参数的过程中，需要将点云元素识别结果投影到图像坐标系所表征的二维空间，也即需要基于车载惯导系统采集得到的车辆位姿数据，进行世界坐标系到惯导坐标系，再到相机坐标系，最后到图像坐标系的转换。

具体地，终端先基于车载惯导系统采集得到的车辆位姿数据，确定该车辆位姿数据所在的惯导坐标系相对于点云元素识别结果所在的世界坐标系的第一转换参数

式中，r为车载惯导系统中陀螺仪采集得到车载惯导系统相对于世界坐标系的旋转信息，t为车载惯导系统中加速度计采集得到的车载惯导系统相对于世界坐标系的平移信息。

相机坐标系相对于惯导坐标系的第二转换参数

为：

其中，R为车载相机相对于惯导坐标系的旋转信息，T为车载相机相对于惯导坐标系的平移信息。该第二转换参数的初始值可以根据车载相机与车载惯导系统的相对位置确定。

相机坐标系相对于二维环境图像数据所在的图像坐标系的第三转换参数

为：

其中，f为像距，c为原点的平移距离，f与c的单位均为像素。该第三转换参数又称相机内参，在车载相机出厂前标定。

基于此，处于世界坐标系的点云元素识别结果[x_p,y_p,z_p,1]投影到图像坐标系所表征的二维空间，得到的坐标为：

其中，u′和v′为投影后得到的二维空间坐标信息，S为尺度信息。

基于上述方法，将点云元素识别结果中的每一点云的三维位置信息均转换为二维空间中的二维位置信息，即可获得点云元素识别结果对应的图像元素转换结果。进一步地，由于第一转换参数和第二转换参数可以表征车载相机、车载雷达、以及车载惯导系统的相对位置，因此，本实施例中，车载相机相对于车载雷达的外参标定参数，可以是更新后的第一转换参数和/或第二转换参数。在一个具体的应用中，车载相机相对于车载雷达的外参标定参数，为用以实现相机标定的车载相机到车载雷达的外参标定参数，该外参标定参数具体可以是更新后的第二转换参数。

本实施例中，基于坐标系转换实现点云元素识别结果从三维空间到二维空间的数据转换，算法简单，有利于提高外参标定参数确定方法的工作效率。

如前文所述的，将第一元素识别结果和第二元素识别结果中的一者转换为与另一者数据类型相同的转换结果后，需要基于该转换结果、以及与该转换结果数据类型相同的元素识别结果之间的元素位置差异，确定第一采样设备相对于第二采样设备的外参标定参数。在一些实施例中，步骤S208包括：对与转换结果数据类型相同的元素识别结果和转换结果进行元素匹配，确定在元素识别结果和转换结果中同一环境元素各自的位置信息；根据各位置信息确定环境元素在元素识别结果和转换结果中的位置差异；根据每一环境元素各自对应的位置差异，确定第一采样设备相对于第二采样设备的外参标定参数。

其中，关于环境元素的位置信息的具体限定参见上文，此处不再赘述。同一环境元素分别在元素识别结果和转换结果中的位置信息，是指同一环境元素的同一特征位置分别在元素识别结果和转换结果中的位置信息。

具体地，由于不同类型环境数据对不同环境元素的表征能力并不相同，因此，即使是针对同一环境采集得到的环境数据，进行环境元素识别后所得到的元素识别结果中，包含的环境元素并不相同。例如，针对图4中二维环境图像数据可以识别出每一棵树，而针对同一环境下图5中的三维环境点云数据则无法识别出相邻树之间的边界。基于此，终端对与转换结果数据类型相同的元素识别结果和转换结果进行元素匹配，确定该元素识别结果和该转换结果中同时包含的环境元素，进而确定该环境元素在元素识别结果中的第一位置信息、以及该环境元素在转换结果中的第二位置信息。然后，再通过对第一位置信息和第二位置信息进行求差运算，获得该环境元素在元素识别结果和转换结果中的位置差异。最后，再根据每一环境元素各自对应的位置差异，确定第一采样设备相对于第二采样设备的外参标定参数。

本实施例中，基于同一环境元素分别在元素识别结果和转换结果中的位置信息，确定该环境元素在元素识别结果和转换结果中的位置差异，进而确定第一采样设备相对于第二采样设备的外参标定参数，可以确保位置差异的准确性，进而提高外参标定参数的准确性。

需要说明的是，终端对与转换结果数据类型相同的元素识别结果和转换结果进行元素匹配的具体方式并不唯一。例如，终端可以针对与转换结果数据类型相同的元素识别结果包含的第一环境元素、以及转换结果包含的第二环境元素，分别确定每一第一环境元素以及每一第二环境元素各自的位置属性，然后再对第一环境元素以及第二环境元素进行位置属性相似匹配，将位置属性满足相似条件的第一环境元素和第二环境元素，确定为同一环境元素，进而确定同一环境元素在元素识别结果和转换结果中各自的位置信息。其中，环境元素的位置属性可以是包括该环境元素的特征点位置属性、该环境元素某一方向上的位置区间属性、或者该环境元素相对于其他元素的相对位置属性中的至少一项。

在一些实施例中，对与转换结果数据类型相同的元素识别结果和转换结果进行元素匹配，确定在元素识别结果和转换结果中同一环境元素各自的位置信息，包括：针对与转换结果数据类型相同的元素识别结果包含的第一环境元素、以及转换结果包含的第二环境元素，分别确定每一第一环境元素以及每一第二环境元素各自的几何属性；对第一环境元素以及第二环境元素进行几何属性相似匹配，将几何属性满足相似条件的第一环境元素和第二环境元素，确定为同一环境元素；确定同一环境元素在元素识别结果和转换结果中各自的位置信息。

其中，环境元素的几何属性可以包括但不限于是高宽比、形状和重叠度(Intersection over Union，IoU)等。对应地，几何属性满足相似条件可以包括但不限于是高宽比相似条件、形状相似条件和重叠度条件等。该高宽比相似条件，可以是指第一环境元素和第二环境元素的高宽比之间的差异小于，或者，小于或等于高宽比阈值。该形状相似条件，可以是指第一环境元素和第二环境元素的形状相似度大于，或者，大于或等于相似度阈值。该重叠度条件，可以是指第一环境元素和第二环境元素的重叠度大于，或者，大于或等于重叠度阈值。需要说明的是，在几何属性相似条件的数量为多个的情况下，可以通过级联的方式依次过滤掉不符合对应几何属性相似条件的环境元素对，以提高效率。例如，几何属性相似条件包括高宽比相似条件和重叠度条件时，可以先基于重叠度条件对第一环境元素和第二环境元素进行筛选，剔除部分不符合重叠度条件的环境元素对，以减少进行高宽比相似匹配时的工作量。

具体地，第一环境元素和第二环境元素的几何属性相似度越高，说明第一环境元素和第二环境元素的相似度越高。基于此，终端可以针对与转换结果数据类型相同的元素识别结果包含的第一环境元素、以及转换结果包含的第二环境元素，分别确定每一第一环境元素以及每一第二环境元素各自的几何属性。然后，对第一环境元素以及第二环境元素进行几何属性相似匹配，将几何属性满足相似条件的第一环境元素和第二环境元素，确定为同一环境元素，进而确定同一环境元素在元素识别结果和转换结果中各自的位置信息。

需要说明的是，在其他实施例中，还可以结合位置属性和几何属性，对第一环境元素以及第二环境元素进行位置属性相似匹配和几何属性相似匹配，将位置属性和几何属性同时满足对应相似条件的第一环境元素和第二环境元素，确定为同一环境元素。

上述实施例中，基于几何属性相似匹配从第一环境元素和第二环境元素中确定同一环境元素，算法简单，可以在确保准确性的同时提升效率。

进一步地，终端根据每一环境元素各自对应的位置差异，确定第一采样设备相对于第二采样设备的外参标定参数的具体方式也不唯一。例如，终端可以根据每一环境元素各自对应的位置差异，分别确定每一环境元素各自对应的第一采样设备相对于第二采样设备的候选外参标定参数，各候选外参标定参数用以抵消该候选外参标定参数对应的环境元素的位置差异，然后，再通过对每一候选外参标定参数进行统计计算，确定能使得各位置差异最小化的第一采样设备相对于第二采样设备的外参标定参数。该统计计算，可以包括但不限于是求平均和加权求和等。

在一些实施例中，环境元素包括环境标识牌，位置差异为该环境标识牌的中心位置差异。在该实施例的情形下，根据每一环境元素各自对应的位置差异，确定第一采样设备相对于第二采样设备的外参标定参数，包括：对每一环境标识牌各自对应的中心位置差异进行统计计算，获得元素识别结果相对于转换结果的位置误差；根据位置误差确定第一采样设备相对于第二采样设备的外参标定参数。

其中，环境标识牌可以是指道路信息标识牌、交通标示牌等。环境标识牌的中心位置差异是指该环境标识牌的几何中心的位置差异。

理想情况下，同一环境标识牌分别在元素识别结果和转换结果中的几何中心位置应完全重合，然而实际情况下，由于元素识别结果和转换结果各自对应的采样设备并不相同，二者之间存在位置误差，需要通过外参标定减小误差。具体地，终端通过对同一环境标识牌分别在元素识别结果和转换结果中的几何中心位置进行求差计算，可以获得该环境标识牌的中心位置差异。然后，对每一环境标识牌各自对应的中心位置差异进行求平均或加权求和等统计计算，即可获得元素识别结果相对于转换结果的位置误差，进而根据位置误差确定第一采样设备相对于第二采样设备的外参标定参数。

在一些实施例中，对每一环境标识牌分别对应的中心位置差异进行统计计算，获得元素识别结果相对于转换结果的位置误差，包括：将每一环境标识牌分别对应的中心位置差异的平方和，确定为元素识别结果相对于转换结果的位置误差。

具体地，终端将每一环境标识牌分别对应的中心位置差异的平方和，确定为元素识别结果相对于转换结果的位置误差。也即，元素识别结果相对于转换结果的位置误差L可以表示为：

其中，u′和v′为转换结果中环境标识牌的中心点位置信息，u和v为元素识别结果中环境标识牌的中心点位置信息，n为元素识别结果和转换结果中所包含的同一环境标识牌的数量。

上述实时例中，由于环境标识牌与周围的其他环境元素对比强烈，容易被完整地识别出来，基于对多个环境标识牌的中心位置差异进行统计计算，确定元素识别结果相对于转换结果的位置误差，有利于提高位置误差的准确性，进而提升外参标定参数的准确性。

在一些实施例中，如图7所示，外参标定参数确定方法包括：

步骤S701，获取针对同一环境的相机采集得到的二维环境图像数据、以及雷达采集得到的三维环境点云数据；

步骤S702，对该二维环境图像数据进行图像语义识别，获得图像元素识别结果；

步骤S703，对该三维环境点云数据进行点云形状识别，获得点云元素识别结果；

步骤S704，确定同一环境下采集得到的移动设备位姿数据所在的惯导坐标系相对于点云元素识别结果所在的世界坐标系的第一转换参数；

步骤S705，根据相机坐标系相对于惯导坐标系的第二转换参数、相机坐标系相对于二维环境图像数据所在的图像坐标系的第三转换参数、以及第一转换参数，将处于世界坐标系的点云元素识别结果投影至图像坐标系所表征的二维空间，获得点云元素识别结果对应的图像元素转换结果；

步骤S706，针对图像元素识别结果包含的第一环境标识牌、以及图像元素转换结果包含的第二环境标识牌，分别确定每一第一环境标识牌以及每一第二环境标识牌各自的几何属性；

步骤S707，对第一环境标识牌以及第二环境标识牌进行几何属性相似匹配，将几何属性满足相似条件的第一环境标识牌和第二环境标识牌，确定为同一环境标识牌；

步骤S708，确定同一环境标识牌在图像元素识别结果和图像元素转换结果中各自的位置信息；

步骤S709，根据各位置信息确定环境标识牌在图像元素识别结果和图像元素转换结果中的中心位置差异；

步骤S710，将每一环境标识牌分别对应的中心位置差异的平方和，确定为图像元素识别结果相对于图像元素转换结果的位置误差；

步骤S711，根据所位置误差确定相机相对于雷达的外参标定参数。

在一些实施例中，本申请提供的外参标定参数确定方法，可以应用于无人机场景。具体地，无人机上安装有用于采集环境数据的第一采样设备和第二采样设备，控制终端获取无人机飞行过程中，针对同一环境由第一采样设备采集得到的第一环境数据、以及由第二采样设备采集得到的第二环境数据，并确定对第一环境数据进行环境元素识别所得到的第一元素识别结果、以及对第二环境数据进行环境元素识别所得到的第二元素识别结果。然后，在第一元素识别结果和第二元素识别结果各自对应的数据类型不同时，基于同一时刻下采集的移动设备位姿数据，将第一元素识别结果和第二元素识别结果中的一者转换为与另一者数据类型相同的转换结果。最后，再基于与转换结果数据类型相同的元素识别结果和转换结果之间的元素位置差异，确定第一采样设备相对于第二采样设备的外参标定参数，以实现第一采样设备相对于第二采样设备的实时外参标定，减小第一采样设备相对于第二采样设备的位置误差，使得后续控制终端可以基于第一采样设备和第二采样设备分别采集得到的环境数据进行飞行控制，有利于提高飞行控制的准确性。

在一些实施例中，本申请提供的外参标定参数确定方法，还可以应用于车载场景下相机与激光雷达的外参参数优化。在该场景下，如图8所示，确定外参标定参数的过程包括点云识别、图像识别、点云-图像关联和外参优化。其中，基于点云识别结果和图像识别结果确定点云-图像关联的过程中，依赖于车辆轨迹、以及相机的各转换参数的初始标定结果。由于车辆位姿数据可以反映车辆的位置信息和姿态信息，因此，车辆轨迹可以通过惯导系统采集得到的车辆位姿数据表征。进一步地，初始标定结果具体包括IMU坐标系相对于相机坐标系的转换参数的初始值、以及相机坐标系相对于二维环境图像数据所在的图像坐标系的转换参数的初始值。

具体地，如图6所示，相机、激光雷达和惯导系统安装于同一车辆。同一时刻由相机采集得到车辆所在环境的二维环境图像数据、由激光雷达采集得到该环境下对应的三维环境点云数据、由惯导系统采集得到该环境下对应的车辆位姿数据。然后，对二维环境图像数据进行图像识别，获得包含道路信息标识牌在相机图像坐标系下的二维像素坐标的图像元素识别结果；对三维环境点云数据进行点云识别，获得包含道路信息标识牌在世界坐标系下的三维点云坐标的点云元素识别结果。进一步地，该三维点云坐标可以包括道路信息标识牌中各角点的三维点云坐标。

将图像元素识别结果中包含的道路信息标识牌称为图像标牌，将点云元素识别结果中包含的道路信息标识牌称为点云标牌。完成图像识别和点云识别后，需要构建图像标牌与点云标牌的对应关系。具体地，先将三维环境点云数据所在的三维空间投影到二维环境图像数据所在的二维空间，再进行图像标牌与点云标牌对应关系的构建。

下面对三维空间投影到二维空间的具体过程进行说明。

具体地，三维空间到二维空间的投影涉及坐标转换的问题，将点云标牌投影到图像中，需要进行世界坐标系到IMU坐标系，再到相机坐标系，最后到图像坐标系的转换。其中，世界坐标系相对于IMU坐标系的转换参数依赖于惯导系统采集得到的车辆位姿数据。可以由终端基于惯导系统采集得到的车辆位姿数据，确定该车辆位姿数据所在的惯导坐标系相对于点云标牌所在的世界坐标系的第一转换参数

式中，r为惯导系统中陀螺仪采集得到惯导系统相对于世界坐标系的旋转信息，t为惯导系统中加速度计采集得到的惯导系统相对于世界坐标系的平移信息。

而IMU坐标系相对于相机坐标系的转换参数依赖于相机与惯导系统的相对位置，也即根据相机与惯导系统的安装位置可以确定二者之间转换参数的初始值。相机坐标系相对于惯导坐标系的第二转换参数

为：

其中，R为车载相机相对于惯导坐标系的旋转信息，T为车载相机相对于惯导坐标系的平移信息。

进一步地，相机坐标系相对于二维环境图像数据所在的图像坐标系的转换参数又称相机内参，在相机出厂前标定，将该转换参数即为第三转换参数

对应的表达式为：

其中，f为像距，c为原点的平移距离，f与c的单位均为像素。由于相机内参通常变化较小，而车辆行驶过程中，可能导致相机位置的滑动，因此，本实施例中，将第二转换参数作为待优化的外参标定参数。

基于此，处于世界坐标系的点云坐标[x_p,y_p,z_p,1]投影到图像坐标系所表征的二维空间，得到的坐标为：

其中，u′和v′为投影后得到的二维空间坐标信息，S为尺度信息。

按照上述投影方法，分别对各点云标牌进行投影处理，可以获得投影处理结果，该投影处理结果中包含各点云标牌各自对应的图像投影标牌。然后，将各图像投影标牌与各图像标牌进行对比，构建关联。本实施例中通过计算各图像投影标牌与各图像标牌的重叠面积比例与高宽比，判断是否为同一标牌。

具体地，计算图像投影标牌与每一图像标牌的重叠面积比例，若重叠面积比例大于阈值，则认为二者重合度较高，关联概率大。然后再对重叠面积比例大于阈值的图像投影标牌和图像标牌分别计算标牌高度与标牌宽度的比值，高宽比的差异小于高宽比阈值，则认为二者的形状较为接近，从而得到同时满足重合度较高且高宽比接近的图像投影标牌与图像标牌关联结果。

进一步地，根据上一步所得到关联结果，可以构建误差项对相机相对于雷达的外参标定参数进行优化。理想情况下，一对关联结果中两个标牌的中心点应该完全重合，然而，实际情况下却可能存在中心点偏离的情况。如图9中，B1和B2分别为同一道路信息标识牌在不同元素识别结果中的位置。其中，B1为道路信息标识牌对应的图像标牌所在位置，B2为道路信息标识牌对应的图像投影标牌所在位置，二者之间存在明显的位置偏移。基于此，可以根据标牌外框的位置信息，计算每一图像投影标牌所对应的第一中心点位置、以及每一图像标牌所对应的第二中心点位置，通过将第一中心点位置和第二中心点位置进行求差计算，获得同一道路信息标识牌对应的中心位置差异。然后，将同一路程区间内采集得到的多个道路信息标识牌的中心位置差异，确定图像投影标牌相对于图像标牌的位置误差。本实施例中，将每一道路信息标识牌分别对应的中心位置差异的平方和，确定为图像投影标牌相对于图像标牌的位置误差。也即，位置误差L可以表示为：

其中，u′和v′为图像投影标牌的中心点位置信息，u和v为图像标牌的中心点位置信息，n为图像元素识别结果和投影处理结果中所包含的同一道路信息标识牌的数量。令L＝0，联立上述方程，通过最小二乘法即可求得优化后的第二转换参数P_{camera_imu}，进而确定相机相对于激光雷达的外参标定参数。

基于该外参标定参数，可以实现从相机到激光雷达的实时外参标定，能够解决由于道路颠簸、刹车、重新安装传感器组件等产生的外参不准确的问题，标定后投影结果更加准确，标定精度更高。如图10所示，标定后同一道路信息标识牌在不同元素识别结果中的位置重合度明显提高，即道路信息标识牌对应的图像标牌所在位置C1、与道路信息标识牌对应的图像投影标牌所在位置C2相对于外参标定之前的重合度更高。采用本申请的方案，能够高效准确地为点云赋予属性信息，助力高精形状和属性识别的自动化进程。同时，高精度的点云识别结果能够借助精准的外参投影到图像上，自动为图像进行标注，标注后的数据既可以用作图像感知的评测集，又可以反哺图像识别，为深度学习模型训练提供准确的训练数据，降低了标注人员的消耗，降低标注成本，提高标定效率。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的外参标定参数确定方法的外参标定参数确定装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个外参标定参数确定装置实施例中的具体限定可以参见上文中对于外参标定参数确定方法的限定，在此不再赘述。

在一些实施例中，如图11所示，提供了一种外参标定参数确定装置1100，包括：获取模块1102、环境元素识别模块1104、数据转换模块1106和外参标定参数确定模块1108，其中：

获取模块1102，用于获取第一采样设备采集得到的第一环境数据、以及第二采样设备采集得到的第二环境数据；第一采样设备和第二采样设备安装于同一移动设备；第一环境数据和第二环境数据中包括针对同一环境采集的数据；

环境元素识别模块1104，用于确定对第一环境数据进行环境元素识别所得到的第一元素识别结果、以及对第二环境数据进行环境元素识别所得到的第二元素识别结果；

数据转换模块1106，用于当第一元素识别结果和第二元素识别结果各自对应的数据类型不同时，基于在环境下采集的移动设备位姿数据，将第一元素识别结果和第二元素识别结果中的一者转换为与另一者数据类型相同的转换结果；

外参标定参数确定模块1108，用于基于与转换结果数据类型相同的元素识别结果和转换结果之间的元素位置差异，确定第一采样设备相对于第二采样设备的外参标定参数。

在一些实施例中，第一环境数据和第二环境数据分别为二维环境图像数据和三维环境点云数据中的一者。在该实施例的情形下，环境元素识别模块1104具体用于：对二维环境图像数据进行图像语义识别，获得图像元素识别结果；对三维环境点云数据进行点云形状识别，获得点云元素识别结果。

在一些实施例中，二维环境图像数据的采样设备为车载相机，三维环境点云数据的采样设备为车载雷达，移动设备位姿数据的采样设备为车载惯导系统。在该实施例的情形下，数据转换模块1106具体用于：基于车载惯导系统在该环境下采集的移动设备位姿数据，将点云元素识别结果中的三维位置数据转换成二维数据；外参标定参数确定模块1108具体用于：基于图像元素识别结果中的二维位置数据和二维数据之间的元素位置差异，确定车载相机相对于车载雷达的外参标定参数。

在一些实施例中，二维环境图像数据的采样设备为建立有相机坐标系的相机。在该实施例的情形下，数据转换模块1106具体用于：确定移动设备位姿数据所在的惯导坐标系相对于点云元素识别结果所在的世界坐标系的第一转换参数；根据相机坐标系相对于惯导坐标系的第二转换参数、相机坐标系相对于二维环境图像数据所在的图像坐标系的第三转换参数、以及第一转换参数，将处于世界坐标系的点云元素识别结果投影至图像坐标系所表征的二维空间，获得点云元素识别结果对应的图像元素转换结果。

在一些实施例中，外参标定参数确定模块1108包括：位置信息确定单元，用于对与转换结果数据类型相同的元素识别结果和转换结果进行元素匹配，确定在元素识别结果和转换结果中同一环境元素各自的位置信息；位置差异确定单元，用于根据各位置信息确定环境元素在元素识别结果和转换结果中的位置差异；外参标定参数确定单元，用于根据每一环境元素各自对应的位置差异，确定第一采样设备相对于第二采样设备的外参标定参数。

在一些实施例中，位置信息确定单元具体用于：针对与转换结果数据类型相同的元素识别结果包含的第一环境元素、以及转换结果包含的第二环境元素，分别确定每一第一环境元素以及每一第二环境元素各自的几何属性；对第一环境元素以及第二环境元素进行几何属性相似匹配，将几何属性满足相似条件的第一环境元素和第二环境元素，确定为同一环境元素；确定同一环境元素在元素识别结果和转换结果中各自的位置信息。

在一些实施例中，环境元素包括环境标识牌；位置差异为环境标识牌的中心位置差异。在该实施例的情形下，外参标定参数确定单元包括：统计组件，用于对每一环境标识牌各自对应的中心位置差异进行统计计算，获得元素识别结果相对于转换结果的位置误差；外参标定参数确定组件，用于根据位置误差确定第一采样设备相对于第二采样设备的外参标定参数。

在一些实施例中，统计组件具体用于：将每一环境标识牌分别对应的中心位置差异的平方和，确定为元素识别结果相对于转换结果的位置误差。

在一些实施例中，第一采样设备和第二采样设备均为车载设备；获取模块1102具体用于：获取同一时间区间内第一采样设备采集得到的第一环境数据、以及第二采样设备采集得到的第二环境数据；在该环境下采集的移动设备位姿数据为同一时间区间内采集的移动设备位姿数据；或者

获取同一行驶区间内第一采样设备采集得到的第一环境数据、以及第二采样设备采集得到的第二环境数据；在该环境下采集的移动设备位姿数据为同一行驶区间内采集的移动设备位姿数据。

上述外参标定参数确定装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一些实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图12所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种外参标定参数确定方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置，显示屏可以是液晶显示屏或电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图12中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一些实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述外参标定参数确定方法中的步骤。

在一些实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述外参标定参数确定方法中的步骤。

在一些实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述外参标定参数确定方法中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (13)

1.一种外参标定参数确定方法，其特征在于，包括：

获取第一采样设备采集得到的第一环境数据、以及第二采样设备采集得到的第二环境数据；所述第一采样设备和所述第二采样设备安装于同一移动设备；所述第一环境数据和所述第二环境数据中包括针对同一环境采集的数据；

确定对所述第一环境数据进行环境元素识别所得到的第一元素识别结果、以及对所述第二环境数据进行环境元素识别所得到的第二元素识别结果；

当所述第一元素识别结果和所述第二元素识别结果各自对应的数据类型不同时，基于在所述环境下采集的移动设备位姿数据，将所述第一元素识别结果和所述第二元素识别结果中的一者转换为与另一者数据类型相同的转换结果；

基于与所述转换结果数据类型相同的元素识别结果和所述转换结果之间的元素位置差异，确定所述第一采样设备相对于所述第二采样设备的外参标定参数。

2.根据权利要求1所述的方法，其特征在于，所述第一环境数据和所述第二环境数据分别为二维环境图像数据和三维环境点云数据中的一者；

所述确定对所述第一环境数据进行环境元素识别所得到的第一元素识别结果以及对所述第二环境数据进行环境元素识别所得到的第二元素识别结果，包括：

对所述二维环境图像数据进行图像语义识别，获得图像元素识别结果；

对所述三维环境点云数据进行点云形状识别，获得点云元素识别结果。

3.根据权利要求2所述的方法，其特征在于，所述二维环境图像数据的采样设备为车载相机，所述三维环境点云数据的采样设备为车载雷达，所述移动设备位姿数据的采样设备为车载惯导系统；

所述基于在所述环境下采集的移动设备位姿数据，将所述第一元素识别结果和所述第二元素识别结果中的一者转换为与另一者数据类型相同的转换结果，包括：

基于所述车载惯导系统在所述环境下采集的移动设备位姿数据，将所述点云元素识别结果中的三维位置数据转换成二维数据；

所述基于与所述转换结果数据类型相同的元素识别结果和所述转换结果之间的元素位置差异，确定所述第一采样设备相对于所述第二采样设备的外参标定参数，包括：

基于所述图像元素识别结果中的二维位置数据和所述二维数据之间的元素位置差异，确定所述车载相机相对于所述车载雷达的外参标定参数。

4.根据权利要求2所述的方法，其特征在于，所述二维环境图像数据的采样设备为建立有相机坐标系的相机；

所述基于在所述环境下采集的移动设备位姿数据，将所述第一元素识别结果和所述第二元素识别结果中的一者转换为与另一者数据类型相同的转换结果，包括：

确定所述移动设备位姿数据所在的惯导坐标系相对于所述点云元素识别结果所在的世界坐标系的第一转换参数；

根据所述相机坐标系相对于所述惯导坐标系的第二转换参数、所述相机坐标系相对于所述二维环境图像数据所在的图像坐标系的第三转换参数、以及所述第一转换参数，将处于所述世界坐标系的所述点云元素识别结果投影至所述图像坐标系所表征的二维空间，获得所述点云元素识别结果对应的图像元素转换结果。

5.根据权利要求1所述的方法，其特征在于，所述基于与所述转换结果数据类型相同的元素识别结果和所述转换结果之间的元素位置差异，确定所述第一采样设备相对于所述第二采样设备的外参标定参数，包括：

对与所述转换结果数据类型相同的元素识别结果和所述转换结果进行元素匹配，确定在所述元素识别结果和所述转换结果中同一环境元素各自的位置信息；

根据各所述位置信息确定所述环境元素在所述元素识别结果和所述转换结果中的位置差异；

根据每一所述环境元素各自对应的位置差异，确定所述第一采样设备相对于所述第二采样设备的外参标定参数。

6.根据权利要求5所述的方法，其特征在于，所述对与所述转换结果数据类型相同的元素识别结果和所述转换结果进行元素匹配，确定在所述元素识别结果和所述转换结果中同一环境元素各自的位置信息，包括：

针对与所述转换结果数据类型相同的元素识别结果包含的第一环境元素、以及所述转换结果包含的第二环境元素，分别确定每一所述第一环境元素以及每一所述第二环境元素各自的几何属性；

对所述第一环境元素以及所述第二环境元素进行几何属性相似匹配，将所述几何属性满足相似条件的第一环境元素和第二环境元素，确定为同一环境元素；

确定所述同一环境元素在所述元素识别结果和所述转换结果中各自的位置信息。

7.根据权利要求5所述的方法，其特征在于，所述环境元素包括环境标识牌；所述位置差异为所述环境标识牌的中心位置差异；

所述根据每一所述环境元素各自对应的位置差异，确定所述第一采样设备相对于所述第二采样设备的外参标定参数，包括：

对每一所述环境标识牌各自对应的中心位置差异进行统计计算，获得所述元素识别结果相对于所述转换结果的位置误差；

根据所述位置误差确定所述第一采样设备相对于所述第二采样设备的外参标定参数。

8.根据权利要求7所述的方法，其特征在于，所述对每一所述环境标识牌分别对应的中心位置差异进行统计计算，获得所述元素识别结果相对于所述转换结果的位置误差，包括：

将每一所述环境标识牌分别对应的中心位置差异的平方和，确定为所述元素识别结果相对于所述转换结果的位置误差。

9.根据权利要求1至8中任意一项所述的方法，其特征在于，所述第一采样设备和所述第二采样设备均为车载设备；

所述获取第一采样设备采集得到的第一环境数据、以及第二采样设备采集得到的第二环境数据，包括：

获取同一时间区间内第一采样设备采集得到的第一环境数据、以及第二采样设备采集得到的第二环境数据；所述在所述环境下采集的移动设备位姿数据为所述同一时间区间内采集的移动设备位姿数据；或者

获取同一行驶区间内第一采样设备采集得到的第一环境数据、以及第二采样设备采集得到的第二环境数据；所述在所述环境下采集的移动设备位姿数据为所述同一行驶区间内采集的移动设备位姿数据。

10.一种外参标定参数确定装置，其特征在于，所述装置包括：

获取模块，用于获取第一采样设备采集得到的第一环境数据、以及第二采样设备采集得到的第二环境数据；所述第一采样设备和所述第二采样设备安装于同一移动设备；所述第一环境数据和所述第二环境数据中包括针对同一环境采集的数据；

环境元素识别模块，用于确定对所述第一环境数据进行环境元素识别所得到的第一元素识别结果、以及对所述第二环境数据进行环境元素识别所得到的第二元素识别结果；

数据转换模块，用于当所述第一元素识别结果和所述第二元素识别结果各自对应的数据类型不同时，基于在所述环境下采集的移动设备位姿数据，将所述第一元素识别结果和所述第二元素识别结果中的一者转换为与另一者数据类型相同的转换结果；

外参标定参数确定模块，用于基于与所述转换结果数据类型相同的元素识别结果和所述转换结果之间的元素位置差异，确定所述第一采样设备相对于所述第二采样设备的外参标定参数。

11.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述的方法的步骤。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。

13.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。

Images