CN112509067A

CN112509067A - 多传感器联合标定方法、装置、电子设备和存储介质

Info

Publication number: CN112509067A
Application number: CN202110140322.6A
Authority: CN
Inventors: 莫耀凯; 许全优; 闵锐; 王劲
Original assignee: Ciic Technology Co ltd
Current assignee: Tianyi Transportation Technology Co.,Ltd.
Priority date: 2021-02-02
Filing date: 2021-02-02
Publication date: 2021-03-16
Anticipated expiration: 2041-02-02
Also published as: CN112509067B

Abstract

本申请实施例提供一种多传感器联合标定方法、装置、电子设备和存储介质，该方法将标定装置设置为两个共轴且不平行的第一标定板和第二标定板，再通过两个标定板之间的连接关系，对不同类的传感器进行联合标定，可以将不同传感器的观测分离到两个板面上，两个板面可以采用不同的材质或图案等，因此可以避免因两类传感器对标定平面的要求不同造成的观测误差，且两个标定板都可以做的较小，容易保证板面长期保持平直状态，为两个分离的标定板面固定角度对加工精度要求较低，容易低成本实现。因此，本申请中的标定装置更容易满足标定需求。

Description

多传感器联合标定方法、装置、电子设备和存储介质

技术领域

本申请涉及自动驾驶技术领域，尤其涉及一种多传感器联合标定方法、装置、电子设备和存储介质。

背景技术

多传感器融合对环境进行感知是当前人工智能技术的一个重要的技术，车辆上通常采用相机和激光雷达融合使用对行驶环境进行感知，要使用相机和激光雷达的融合数据，首先需要对这两个传感器进行联合标定。常见的标定方法有三种，第一是采用同一标定板的一个板面同时为相机和激光雷达提供观测，但由于两类传感器感知原理不同，对板面的要求也不同，采用同一板面只能满足其中一类传感器的感测要求，而另一传感器的感测结果会出现偏差；第二是采用同一标定板的不同板面分别为相机和激光雷达提供观测，但这会让标定板过大，常规材质难以保证标定板长期平直不在边缘产生弯曲；第三是采用非平面的标定装置同时为相机和激光雷达提供观测，但非平面的标定装置对加工精度要求过高。三种标定方式均存在一定缺陷。

因此，现有的多传感器联合标定方法存在标定板较难满足标定需求的技术问题，需要改进。

发明内容

本申请实施例提供一种多传感器联合标定方法、装置、电子设备和存储介质，用以缓解现有的多传感器联合标定方法中标定板较难满足标定需求的技术问题。

为解决上述技术问题，本申请实施例提供以下技术方案：

本申请提供一种多传感器联合标定方法，适用于标定系统，所述标定系统包括标定装置、服务器以及设置在车辆上的第一传感器和第二传感器，所述标定装置包括共轴且不平行的第一标定板和第二标定板，所述第一标定板包括朝向所述第一传感器的第一标定平面，所述第二标定板包括朝向所述第二传感器的第二标定平面，所述多传感器联合标定方法应用于所述服务器，所述多传感器联合标定方法包括：

获取所述第一标定平面在所述第一标定板的观测坐标系下的第一平面表示；

根据所述第一平面表示、以及所述第一标定板与所述第二标定板的连接关系，确定所述第二标定平面在所述观测坐标系下的第二平面表示；

根据所述第二平面表示，确定所述第二标定平面上观测点在所述观测坐标系下的第一坐标表示；

获取所述第一传感器的第一传感坐标系到所述观测坐标系的第一位姿变换关系，并获取所述第二标定平面上观测点在所述第二传感器的第二传感坐标系下的第二坐标表示；

根据所述第一坐标表示、所述第一位姿变换关系和所述第二坐标表示，确定所述第二传感坐标系到所述第一传感坐标系的第二位姿变换关系；

根据所述第二位姿变换关系，对所述第一传感器和所述第二传感器进行联合标定。

本申请实施例还提供一种多传感器联合标定装置，适用于标定系统，所述标定系统包括标定装置、服务器以及设置在车辆上的第一传感器和第二传感器，所述标定装置包括共轴且不平行的第一标定板和第二标定板，所述第一标定板包括朝向所述第一传感器的第一标定平面，所述第二标定板包括朝向所述第二传感器的第二标定平面，所述多传感器联合标定装置设置在所述服务器中，所述多传感器联合标定装置包括：

第一获取模块，用于获取所述第一标定平面在所述第一标定板的观测坐标系下的第一平面表示；

第一确定模块，用于根据所述第一平面表示、以及所述第一标定板与所述第二标定板的连接关系，确定所述第二标定平面在所述观测坐标系下的第二平面表示；

第二确定模块，用于根据所述第二平面表示，确定所述第二标定平面上观测点在所述观测坐标系下的第一坐标表示；

第二获取模块，用于获取所述观测坐标系到所述第一传感器的第一传感坐标系的第一位姿变换关系，并获取所述第二标定平面上观测点在所述第二传感器的第二传感坐标系下的第二坐标表示；

第三确定模块，用于根据所述第一坐标表示、所述第一位姿变换关系和所述第二坐标表示，确定所述第二传感坐标系到所述第一传感坐标系的第二位姿变换关系；

标定模块，用于根据所述第二位姿变换关系，对所述第一传感器和所述第二传感器进行联合标定。

本申请还提供一种电子设备，包括存储器和处理器；所述存储器存储有应用程序，所述处理器用于运行所述存储器内的应用程序，以执行上述任一项所述的多传感器联合标定方法中的操作。

本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行以实现上述任一项所述的多传感器联合标定方法。

有益效果：本申请实施例提供一种多传感器联合标定方法、装置、电子设备和存储介质，该方法适用于标定系统，所述标定系统包括标定装置、服务器以及设置在车辆上的第一传感器和第二传感器，所述标定装置包括共轴且不平行的第一标定板和第二标定板，所述第一标定板包括朝向所述第一传感器的第一标定平面，所述第二标定板包括朝向所述第二传感器的第二标定平面，所述多传感器联合标定方法应用于所述服务器，所述多传感器联合标定方法包括：获取所述第一标定平面在所述第一标定板的观测坐标系下的第一平面表示；根据所述第一平面表示、以及所述第一标定板与所述第二标定板的连接关系，确定所述第二标定平面在所述观测坐标系下的第二平面表示；根据所述第二平面表示，确定所述第二标定平面上观测点在所述观测坐标系下的第一坐标表示；获取所述观测坐标系到所述第一传感器的第一传感坐标系的第一位姿变换关系，并获取所述第二标定平面上观测点在所述第二传感器的第二传感坐标系下的第二坐标表示；根据所述第一坐标表示、第一位姿变换关系和所述第二坐标表示，确定所述第二传感坐标系到所述第一传感坐标系的第二位姿变换关系；根据所述第二位姿变换关系，对所述第一传感器和所述第二传感器进行联合标定。本申请通过将标定装置设置为两个共轴且不平行的第一标定板和第二标定板，再通过两个标定板之间的连接关系，对不同类的传感器进行联合标定，可以将不同传感器的观测分离到两个板面上，两个板面可以采用不同的材质或图案等，因此可以避免因两类传感器对标定平面的要求不同造成的观测误差；此外，由于两个标定板分别独立提供标定，因此每个标定板只需满足对应传感器的观测要求即可，两个标定板都可以做的较小，容易保证板面长期保持平直状态，且为两个分离的标定板面固定角度对加工精度要求较低，容易低成本实现。即，本申请中的标定装置更加容易满足标定需求。

附图说明

下面结合附图，通过对本申请的具体实施方式详细描述，将使本申请的技术方案及其它有益效果显而易见。

图1为本申请实施例提供的多传感器联合标定方法适用的场景示意图。

图2为本申请实施例提供的多传感器联合标定方法的流程示意图。

图3为本申请实施例中标定装置和传感器的位置示意图。

图4为本申请实施例中标定装置的结构示意图。

图5为本申请实施例中标定装置的俯视结构示意图。

图6为本申请实施例提供的多传感器联合标定装置的结构示意图。

图7为本申请实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参阅图1，图1为本申请实施例所提供的多传感器联合标定方法适用的场景示意图，该场景可以包括终端以及服务器，终端之间、服务器之间以及终端与服务器之间通过各种网关组成的互联网等方式连接通信，其中，该应用场景中包括车辆11、服务器12、标定装置13；其中：

车辆11可以是自动驾驶车辆，也可以是有人驾驶车辆，车辆11通过车载传感系统感知道路环境，车载传感系统包括相机、激光雷达、GPS等多类传感器，各类传感器相互配合工作来感知车辆周围环境，并根据感知所获得的道路、车辆位置和障碍物信息，为车辆11提供行车指引，从而使车辆11能够安全、可靠地在道路上行驶，本申请中车辆11上设置有第一传感器和第二传感器，第一传感器可以是相机，第二传感器可以是激光雷达；

服务器12包括本地服务器和/或远程服务器等；

标定装置13指为需要校准的精准设备提供标准的测量设备，包括设置有观测图案的标定板，通过传感器对观测图案的观测和相关标定算法的计算，可以完成对传感器精度的测量以及对不同传感器之间位姿转换的标定等，本申请中标定装置13包括共轴且不平行的第一标定板和第二标定板，第一标定板朝向第一传感器，第二标定板朝向第二传感器。

车辆11、服务器12和标定装置13位于无线网络或有线网络中，以实现三者之间的数据交互，其中：

服务器12获取标定装置13的第一标定平面在第一标定板的观测坐标系下的第一平面表示；根据第一平面表示、以及第一标定板与标定装置13的第二标定板的连接关系，确定第二标定平面在观测坐标系下的第二平面表示；根据第二平面表示，确定第二标定平面上观测点在观测坐标系下的第一坐标表示；获取观测坐标系到车辆11上第一传感器的第一传感坐标系的第一位姿变换关系，并获取第二标定平面上观测点在车辆11上第二传感器的第二传感坐标系下的第二坐标表示；根据第一坐标表示、第一位姿变换关系和第二坐标表示，确定第二传感坐标系到第一传感坐标系的第二位姿变换关系；根据第二位姿变换关系，对第一传感器和第二传感器进行联合标定。

需要说明的是，图1所示的系统场景示意图仅仅是一个示例，本申请实施例描述的服务器以及场景是为了更加清楚地说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着系统的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。以下分别进行详细说明。需说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。

请参阅图2，图2是本申请实施例提供的多传感器联合标定方法的流程示意图，该方法包括：

S201：获取第一标定平面在第一标定板的观测坐标系下的第一平面表示。

车辆的行驶过程中，需要通过车载传感系统感知环境信息，本申请中车辆可以是自动驾驶车辆，也可以是有人驾驶车辆，以自动驾驶车辆为例，需要根据车载传感系统感知的环境信息来自动规划行车路线并控制车辆到达预定目标。车载传感系统包括激光雷达、相机、毫米波雷达等。在驾驶环境感知中，相机完成的工作包括车道线检测、障碍物识别分类、以及交通标志的识别如识别红绿灯和限速牌等，激光雷达完成的工作包括路沿检测、障碍物识别、定位以及地图的创建等。在工作时，相机和激光雷达均具有各自的优势和缺点，因此将两者结合起来对环境感知，感知的效果更好。

标定指需要校准的测量设备与精准设备的记录比较，在本申请中，测量设备为标定装置，精准设备为安装在车辆上的各类传感器。由于相机和激光雷达的工作原理不同，且在车辆两者位于不同的位置，激光雷达通常安装在车辆顶部，相机通常安装在车辆侧边，两者对应的传感器坐标系是不同的，因此在将两者结合起来使用时，需要对两者进行联合标定，计算两者之间的位姿变换关系，包括位置变化和旋转角度变化，以实现将某一点从激光雷达坐标系到相机坐标系下的转换，反之亦可，在标定时需要用到标定装置。

如图3所示，本申请实施例提供的标定装置包括共轴且不平行的第一标定板10和第二标定板20，第一标定板10和第二标定板20通过连接轴30实现连接，第一标定板10和第二标定板20之间的夹角角度为θ。第一标定板10与第二标定板20之间可以是固定安装，例如可以是分别制作完成后通过焊接、粘贴等方式形成的一个整体，或者整块板制作完成后弯折形成两块标定板，固定安装使得两个标定板之间的连接关系更加牢固，两者之间的相对位姿较为稳定，则在后续计算两者之间的位姿变换时数据会较为准确。第一标定板10与第二标定板20之间也可以是可拆卸安装，例如可以通过铰接、铆接等方式将两者连接，或者两者同时可拆卸安装在同一支架上，可拆卸方式增大了两者的可替换性，当其中某个标定板损坏或达不到观测要求时，可以用另一块相同功能的标定板进行替换，而不用将两块标定板形成的整体都更换，从而减小了成本。需要说明的是，连接轴30可以是实际存在的结构，也可以是根据两者的连接关系得到的虚拟结构，即连接轴30仅用于表明第一标定板10和第二标定板20之间的连接关系，而不对两者的实际连接方式和制作工艺进行限制。

不论采用何种方式连接，第一标定板10与第二标定板20之间的夹角角度均为固定值，在移动和旋转标定装置的过程中，该夹角角度始终保持不变。此外，第一标定板10与第二标定板20之间形成总和为360度的两个夹角，在本申请实施例中所指夹角，均为上述两个夹角中的较小者。在本申请实施例中，为了能同时得到较好的相机观测和激光雷达观测效果，夹角角度θ的取值范围为90°至110°。

在一种实施例中，标定装置还包括支架（图未示出），第一标定板10和第二标定板20与支架连接，在标定时，将标定装置放置在车辆上的第一传感器40和第二传感器50的可观测范围内，通过稳定放置的支架，单人可以快速为车辆提供标定数据。

第一标定板10包括第一标定平面101和第二标定平面201，在进行标定时，第一标定平面101朝向车辆上的第一传感器40，第二标定平面201朝向车辆上的第二传感器50，第一标定平面101和第二标定平面201上均设置有观测图案。本申请以第一传感器40为相机，第二传感器50为激光雷达为例进行说明，但不以此为限，任意两种需要且可以实现联合标定的传感器的方案，均落入本申请的保护范围。

在第一传感器40为相机，第二传感器50为激光雷达时，第一标定平面101上具有特殊的已知尺度的观测图案，观测图案可以是棋盘格图案、Aruco图案以及ChAruco图案等，第二标定平面201上则有能均匀反射光线的多个三维点形成的观测图案。

在本申请实施例中，第一标定板10具有观测坐标系，第一传感器40具有第一传感坐标系，第二传感器50具有第二传感坐标系。在对相机进行标定时，需要相机对第一标定平面101上观测图案进行拍摄，然后根据拍摄得到的观测数据，通过视觉特征和结构特征计算出第一标定平面101在观测坐标系下的第一平面表示，第一平面表示为可以表示一个唯一平面的各参数的集合。

在一种实施例中，获取第一标定平面101在观测坐标系下的第一平面表示的步骤具体包括：获取第一标定平面上观测图案的观测中心；根据观测中心，确定第一标定平面在观测坐标系下的第一坐标原点和第一法向量。对于空间中的某个平面，通过一个坐标原点和一个法向量可以确定一个唯一平面，当第一传感器40观测第一标定平面101上的观测图案时，先获取第一标定平面101上的观测中心，观测中心的具体位置由第一标定平面101上的观测图案决定，例如当观测图案为Aruco图案时，观测中心是Aruco图案的中心，而当观测图案为棋盘格图案中，观测中心则是棋盘格左上角的角点。将该观测中心作为观测坐标系的第一坐标原点O₁（0，0，0），从第一坐标原点O₁出发，将垂直于连接轴30的方向作为观测坐标系的y₁轴，将平行于连接轴30的方向作为观测坐标系的x₁轴，将垂直于第一标定平面101且指向第一传感器40的方向作为观测坐标系的z₁轴，则x₁轴、y₁轴、z₁轴和第一坐标原点O₁形成了第一标定平面101的观测坐标系，该平面具有第一法向量N₁（0，0，1），也即第一坐标原点O₁（0，0，0）和第一法向量N₁（0，0，1）为第一标定平面101在观测坐标系下的第一平面表示。

S202：根据第一平面表示、以及第一标定板与第二标定板的连接关系，确定第二标定平面在观测坐标系下的第二平面表示。

在获取了第一标定平面101的第一平面表示后，由于第二标定平面201与第一标定平面101之间的位置关系是确定的，可以根据这些已知参数，计算出第二标定平面201在观测坐标系下的第二平面表示，第二平面表示也为可以表示一个唯一平面的各参数的集合。

在一种实施例中，S202具体包括：获取第一标定平面与第二标定平面的夹角角度；获取观测坐标系的第一坐标原点到第一标定平面和第二标定平面的连接轴的垂直距离；根据第一平面表示、夹角角度和垂直距离，确定第二标定平面在观测坐标系下的第二平面表示。如图4所示，先获取第一标定平面101与第二标定平面201之间的夹角角度θ，然后再获取观测坐标系的第一坐标原点O₁到连接轴30的垂直距离W。根据夹角角度θ，可以确定第二标定平面201与第一标定平面101之间的位置关系，而根据垂直距离W，可以确定观测坐标系与连接轴30之间的位置关系，在获取这两个位置关系后，即可根据这些已知参数，计算出第二标定平面201在观测坐标系下的第二平面表示。

在一种实施例中，确定第二标定平面在观测坐标系下的第二平面表示的步骤具体包括：根据第一坐标原点、第一法向量、夹角角度和垂直距离，确定第二标定平面在观测坐标系下的第二坐标原点和第二法向量。如图5所示，设第二标定平面201的第四坐标原点为O_L，第四法向量为N_L，第四坐标原点O_L和第四法向量N_L可以通过旋转和平移的方式最终与第一坐标原点O₁和第一法向量N₁重合，则根据图4和图5中夹角角度θ和垂直距离W，最终可以计算出在观测坐标系下第四坐标原点为O_L（0，W+W*cos(180-θ)，-W*sin(180-θ)），第四法向量为N_L（0，sin(180-θ)，cos(180-θ)）。

在本申请实施例中，为了能同时得到较好的相机观测和激光雷达观测效果，垂直距离W的取值为0.5米以上。

S203：根据第二平面表示，确定第二标定平面上观测点在观测坐标系下的第一坐标表示。

在一种实施例中，S203具体包括：获取在观测坐标系下，第二标定平面上观测点到第二坐标原点之间的第一向量；根据第一向量与第二法向量的垂直关系，确定第二标定平面上观测点在观测坐标系下的第一坐标表示。观测点可以是第二标定平面201的观测图案上的任一点，对于第二标定平面201上的某观测点P，在已知观测坐标系下第四坐标原点O_L和观测坐标系下第四法向量N_L时，设该点P在观测坐标系下的第一坐标表示为P_An，则P_An-O_L表示由第四坐标原点O_L指向点P的第一向量，该向量位于第二标定平面201上，而N_L为第二标定平面201的法向量，两个向量互相垂直，则两个向量之间满足公式：

N_L ^T*(P_An-O_L)=0 ①

根据该公式可计算得到第二标定平面201上观测点在观测坐标系下的第一坐标表示P_An。

S204：获取观测坐标系到第一传感器的第一传感坐标系的第一位姿变换关系，并获取第二标定平面上观测点在第二传感器的第二传感坐标系下的第二坐标表示。

如图3所示，第一传感坐标系的第二坐标原点O₂位于相机镜头的光心处，x₂轴和y₂轴分别与相机像面的两相邻边平行，z₂轴沿镜头光轴方向，与像平面垂直。x₂轴和y₂轴与观测坐标系的x₁轴和y₁轴的方向相反，该坐标系可以代表相机当前在空间中的位置。第二传感坐标系的第三坐标原点O₃位于激光雷达旋转扫描中心，z₃轴竖直向上，y₃轴水平向左，x₃轴水平向前，该坐标系可以代表激光雷达当前在空间中的位置。

在一种实施例中，获取观测坐标系到第一传感器的第一传感坐标系的第一位姿变换关系的步骤包括：获取第一传感器对第一标定平面上观测图案的观测数据；根据所述观测数据，得到观测坐标系到第一传感器的第一传感坐标系的第三位姿变换关系；根据第三位姿变换关系，得到第一传感坐标系到观测坐标系的第一位姿变换关系。

相机先对第一标定平面101上的观测图案进行拍摄，根据拍摄结果得到对观测图案上各特征点的观测数据，也即各特征点的坐标，然后使用传统相机标定法、主动视觉相机标定法或相机自标定法等均可以计算得到观测坐标系到第一传感器的第一传感坐标系的第三位姿变换关系，相关标定法为本领域常规方法，在此不再赘述。第三位姿变换关系用于表示观测坐标系到第一传感坐标系的转换关系，转换包括旋转和平移，因此用第一转换矩阵T_CA来表示第三位姿变换关系。在得到第一转换矩阵T_CA后，对第一转换矩阵T_CA求逆，得到第二转换矩阵T_CA ^-1，则第二转换矩阵T_CA ^-1表示第一传感坐标系到观测坐标系的第一位姿变换关系。

激光雷达对第二标定平面201上观测图案进行观测，获得第二标定平面201上观测图案的三维点云数据，再通过平面拟合的方法可得到第二标定平面201上观测点在第二传感坐标系下的第二坐标表示P_n。

S205：根据第一坐标表示、第一位姿变换关系和第二坐标表示，确定第二传感坐标系到第一传感坐标系的第二位姿变换关系。

设第二传感坐标系到第一传感坐标系的第二位姿变换关系对应的第三转换矩阵为T_CL，在已知观测坐标系到第一传感坐标系的第二转换矩阵T_CA ^-1，第二标定平面201上观测点在观测坐标系下的第一坐标表示P_An，第二标定平面上观测点在第二传感坐标系下的第二坐标表示P_n时，T_CA ^-1、P_n、P_An和T_CL之间满足公式：

P_An = P_n *T_CL*T_CA ^-1②

将公式①中计算得到的P_An带入公式②，可以计算得到第三转换矩阵T_CL。

在一种实施例中，S205具体包括：获取对不同位姿的标定装置标定得到的多组位姿变换数据，每组位姿变换数据包括第一位姿变换关系和第二坐标表示；根据第一坐标表示和多组位姿变换数据，确定第二传感坐标系到第一传感坐标系的第二位姿变换关系。第一传感器40和第二传感器50分别使用第一标定板10和第二标定板20完成标定工作，第一传感器40的标定可以获取第一转换矩阵T_CA，第二传感器50的标定可以获取第二坐标表示P_n，根据标定得到的这两个参数和计算得到的第一坐标表示P_An，结合上述公式①和②，可以计算得到第三转换矩阵T_CL。在第一传感器40和第二传感器50标定时，通过旋转和平移标定装置来调整整个标定装置的位姿，每次变换标定装置的位姿后，均获取第一传感器40和第二传感器50的标定结果，将每次两者的标定结果作为一组位姿变换数据，则每组位姿变换数据均包括第一转换矩阵T_CA和第二坐标表示P_n。在多次变换标定装置的位姿时，可以获得多组第一转换矩阵T_CA和第二坐标表示P_n。

标定装置位姿变化指标定装置相对第一传感器40和第二传感器50发生的位姿变化，在标定装置位姿发生变化时，由于第一标定板10和第二标定板20之间相对位姿始终保持不变，第二标定平面201上观测点在观测坐标系下的第一坐标表示P_An也始终不变，而第二标定平面201上观测点在第二传感坐标系下的第二坐标表示P_n和第一传感坐标系到观测坐标系的第一位姿变换关系会发生改变，即每组位姿变换数据中第一转换矩阵T_CA和第二坐标表示P_n均不相同，根据一个相同的第一坐标表示P_An和多组不同的位姿变换数据，最终计算得到第二传感坐标系到第一传感坐标系的第二位姿变换关系。

在一种实施例中，得到第二传感坐标系到第一传感坐标系的第二位姿变换关系的步骤具体包括：根据第一坐标表示和位姿变换数据，得到每组位姿变换数据下第二传感坐标系到第一传感坐标系的候选第二位姿变换关系；通过最小二乘法对多组位姿变换数据和多个候选第二位姿变换关系求解；根据求解结果，得到第二传感坐标系到第一传感坐标系的第二位姿变换关系。对于每组位姿变换数据，根据公式②均可求解出对应的第三转换矩阵T_CL，将每个第三转换矩阵T_CL作为标定装置在当前位姿下第二传感坐标系到第一传感坐标系的候选第二位姿变换关系，则对于每组位姿变换数据，均有一个第三转换矩阵T_CL与之对应。将每组位姿变换数据作为一组变量，求得的候选第二位姿变换关系作为另一组变量，通过最小二乘法对这两个组变量进行求解，得到两变量的线性关系，从而可以得到最佳的第二位姿变换关系。最小二乘法可以使求得数据与实际数据之间误差的平方和为最小，最终标定结果更加准确。

S206：根据第二位姿变换关系，对第一传感器和第二传感器进行联合标定。

在计算得到第三转换矩阵T_CL后，可以确定第一传感器40和第二传感器50之间的相对位姿，则在两者对同一对象进行感测时，可以实现该对象在第一传感坐标系下的坐标到在第二传感坐标系下的坐标之间的转换，反之亦可。因此，在得到第二位姿变换关系后，可以实现对第一传感器和第二传感器的联合标定，使不同传感器感测到的对象可以进行融合，共同为车辆行驶提供更为精确的环境感知数据，例如通过相机感测到前后两帧是同一物体，在联合标定后则可以通过激光雷达知道该物体在前后两帧间隔内的运动速度和运动位移等数据。

当前主流的联合标定方案有三种，一是通过一个标定板面同时为相机和激光雷达提供观测，利用两个传感器观测到的面的观测结果进行联合标定；二是一个标定板面为相机和激光雷达提供观测，但两类传感器的观测分布于标定板面的不同区域，利用两个传感器观测到的面的观测结果进行联合标定；三是构建非平面的标定装置，标定装置同时为相机和激光雷达提供观测，利用两个传感器对特殊结构的观测结果进行联合标定。然而，方案一中由于相机的观测依赖于颜色变化，然而不同颜色反射率的不同会对激光雷达的观测产生影响，使用一个标定板面同时为相机和激光雷达提供观测会使得激光雷达观测的面偏差；方案二中利用面的特征进行标定需要保证标定板自身能提供一个良好的平面观测，一个标定板面在不同位置为相机和激光雷达提供观测会让标定板过大，常规材质难以保证标定板长期平直不在边缘产生弯曲；方案三中构建非平面的标定装置对加工精度要求过高。因此，当前的联合标定方案均存在一定缺陷，难以满足标定需求。

而通过上述实施例可知，本申请提供的多传感器联合标定方法，通过将标定装置设置为两个共轴且不平行的第一标定板和第二标定板，再通过两个标定板之间的连接关系，对不同类的传感器进行联合标定，可以将不同传感器的观测分离到两个板面上，两个板面可以采用不同的材质或图案等，因此可以避免因两类传感器对标定平面的要求不同造成的观测误差，避免相机和激光雷达进行标定观测时观测对象互相干扰的问题；此外，由于两个标定板分别独立提供标定，因此每个标定板只需满足对应传感器的观测要求即可，两个标定板都可以做的较小，容易保证板面长期保持平直状态，同时带有固定折角的方案可以有效避免标定装置自身结构发生较大变化；为两个分离的标定板面固定角度对加工精度要求也较低，可以在保证观测效果的前提下有效降低制造成本，便于快速使用。即，本申请中的标定装置更加容易满足标定需求。

相应的，图6为本申请实施例提供的多传感器联合标定装置的结构示意图，该多传感器联合标定装置适用于标定系统，标定系统包括标定装置、服务器以及设置在车辆上的第一传感器和第二传感器，标定装置包括共轴且不平行的第一标定板和第二标定板，第一标定板包括朝向第一传感器的第一标定平面，第二标定板包括朝向第二传感器的第二标定平面，该多传感器联合标定装置设置在服务器中，请参阅图6，该多传感器联合标定装置包括：

第一获取模块110，用于获取第一标定平面在第一标定板的观测坐标系下的第一平面表示；

第一确定模块120，用于根据第一平面表示、以及第一标定板与第二标定板的连接关系，确定第二标定平面在观测坐标系下的第二平面表示；

第二确定模块130，用于根据第二平面表示，确定第二标定平面上观测点在观测坐标系下的第一坐标表示；

第二获取模块140，用于获取观测坐标系到第一传感器的第一传感坐标系的第一位姿变换关系，并获取第二标定平面上观测点在第二传感器的第二传感坐标系下的第二坐标表示；

第三确定模块150，用于根据第一坐标表示、第一位姿变换关系和第二坐标表示，确定第二传感坐标系到第一传感坐标系的第二位姿变换关系；

标定模块160，用于根据第二位姿变换关系，对第一传感器和第二传感器进行联合标定。

在一种实施例中，第一获取模块110包括：

第一获取子模块，用于获取第一标定平面上观测图案的观测中心；

第一确定子模块，用于根据观测中心，确定第一标定平面在观测坐标系下的第一坐标原点和第一法向量。

在一种实施例中，第一确定模块120包括：

第二获取子模块，用于获取第一标定平面与第二标定平面的夹角角度；

第三获取子模块，用于获取观测坐标系的第一坐标原点到第一标定平面和第二标定平面的连接轴的垂直距离；

第二确定子模块，用于根据第一平面表示、夹角角度和垂直距离，确定第二标定平面在观测坐标系下的第二平面表示。

在一种实施例中，第二确定子模块用于，根据第一坐标原点、第一法向量、夹角角度和垂直距离，确定第二标定平面在观测坐标系下的第二坐标原点和第二法向量。

在一种实施例中，第二确定模块130包括：

第四获取子模块，用于获取在观测坐标系下，第二标定平面上观测点到第二坐标原点之间的第一向量；

第三确定子模块，用于根据第一向量与第二法向量的垂直关系，确定第二标定平面上观测点在观测坐标系下的第一坐标表示。

在一种实施例中，标定模块160包括：

第五获取子模块，用于获取对不同位姿的标定装置标定得到的多组位姿变换数据，每组位姿变换数据包括第一位姿变换关系和第二坐标表示；

第四确定子模块，用于根据所述第一坐标表示和所述多组位姿变换数据，确定所述第二传感坐标系到所述第一传感坐标系的第二位姿变换关系。

在一种实施例中，第四确定子模块用于，根据第一坐标表示和位姿变换数据，得到每组位姿变换数据下第二传感坐标系到第一传感坐标系的候选第二位姿变换关系；通过最小二乘法对多组位姿变换数据和多个候选第二位姿变换关系求解；根据求解结果，得到第二传感坐标系到第一传感坐标系的第二位姿变换关系。

区别于现有技术，本申请提供的多传感器联合标定装置，通过将标定装置设置为两个共轴且不平行的第一标定板和第二标定板，再通过两个标定板之间的连接关系，对不同类的传感器进行联合标定，可以将不同传感器的观测分离到两个板面上，两个板面可以采用不同的材质或图案等，因此可以避免因两类传感器对标定平面的要求不同造成的观测误差；此外，由于两个标定板分别独立提供标定，因此每个标定板只需满足对应传感器的观测要求即可，两个标定板都可以做的较小，容易保证板面长期保持平直状态，且为两个分离的标定板面固定角度对加工精度要求较低，容易低成本实现。即，本申请中的标定装置更加容易满足标定需求。

相应地，本申请实施例还提供一种电子设备，如图7所示，该电子设备可以包括射频电路701、包括有一个或一个以上计算机可读存储介质的存储器702、输入单元703、显示单元704、传感器705、音频电路706、WiFi模块707、包括有一个或者一个以上处理核心的处理器708以及电源709等部件。本领域技术人员可以理解，图7中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

射频电路701可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，交由一个或者一个以上处理器708处理；另外，将涉及上行的数据发送给基站。存储器702可用于存储软件程序以及模块，处理器708通过运行存储在存储器702的软件程序以及模块，从而执行各种功能应用以及数据处理。输入单元703可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

显示单元704可用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。

电子设备还可包括至少一种传感器705，比如光传感器、运动传感器以及其他传感器。音频电路706包括扬声器，扬声器可提供用户与电子设备之间的音频接口。

WiFi属于短距离无线传输技术，电子设备通过WiFi模块707可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图7示出了WiFi模块707，但是可以理解的是，其并不属于电子设备的必须构成，完全可以根据需要在不改变申请的本质的范围内而省略。

处理器708是电子设备的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器702内的软件程序和/或模块，以及调用存储在存储器702内的数据，执行电子设备的各种功能和处理数据，从而对手机进行整体监控。

电子设备还包括给各个部件供电的电源709（比如电池），优选的，电源可以通过电源管理系统与处理器708逻辑相连，从而通过电源管理系统实现管理充电、放电以及功耗管理等功能。

尽管未示出，电子设备还可以包括摄像头、蓝牙模块等，在此不再赘述。具体在本实施例中，电子设备中的处理器708会按照如下指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器702中并由处理器708来运行存储在存储器702中的应用程序，从而实现以下功能：

获取第一标定平面在第一标定板的观测坐标系下的第一平面表示；根据第一平面表示、以及第一标定板与第二标定板的连接关系，确定第二标定平面在观测坐标系下的第二平面表示；根据第二平面表示，确定第二标定平面上观测点在观测坐标系下的第一坐标表示；获取第一传感器的第一传感坐标系到观测坐标系的第一位姿变换关系，并获取第二标定平面上观测点在第二传感器的第二传感坐标系下的第二坐标表示；根据第一坐标表示、第一位姿变换关系和第二坐标表示，确定第二传感坐标系到第一传感坐标系的第二位姿变换关系；根据第二位姿变换关系，对第一传感器和第二传感器进行联合标定。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以实现以下功能：

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

其中，该计算机可读存储介质可以包括：只读存储器（ROM，Read Only Memory）、随机存取记忆体（RAM，Random Access Memory）、磁盘或光盘等。

由于该计算机可读存储介质中所存储的指令，可以执行本申请实施例所提供的任一种方法中的步骤，因此，可以实现本申请实施例所提供的任一种方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上对本申请实施例所提供的一种多传感器联合标定方法、装置、电子设备和存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的技术方案及其核心思想；本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例的技术方案的范围。

Claims

1.一种多传感器联合标定方法，其特征在于，适用于标定系统，所述标定系统包括标定装置、服务器以及设置在车辆上的第一传感器和第二传感器，所述标定装置包括共轴且不平行的第一标定板和第二标定板，所述第一标定板包括朝向所述第一传感器的第一标定平面，所述第二标定板包括朝向所述第二传感器的第二标定平面，所述多传感器联合标定方法应用于所述服务器，所述多传感器联合标定方法包括：

2.如权利要求1所述的多传感器联合标定方法，其特征在于，获取所述第一标定平面在所述第一标定板的观测坐标系下的第一平面表示的步骤，包括：

获取所述第一标定平面上观测图案的观测中心；

根据所述观测中心，确定所述第一标定平面在观测坐标系下的第一坐标原点和第一法向量。

3.如权利要求2所述的多传感器联合标定方法，其特征在于，根据所述第一平面表示、以及所述第一标定板与所述第二标定板的连接关系，确定所述第二标定平面在所述观测坐标系下的第二平面表示的步骤，包括：

获取所述第一标定平面与所述第二标定平面的夹角角度；

获取所述观测坐标系的第一坐标原点到所述第一标定平面和所述第二标定平面的连接轴的垂直距离；

根据所述第一平面表示、所述夹角角度和所述垂直距离，确定所述第二标定平面在所述观测坐标系下的第二平面表示。

4.如权利要求3所述的多传感器联合标定方法，其特征在于，根据所述第一平面表示、所述夹角角度和所述垂直距离，确定所述第二标定平面在所述观测坐标系下的第二平面表示的步骤，包括：

根据所述第一坐标原点、所述第一法向量、所述夹角角度和所述垂直距离，确定所述第二标定平面在所述观测坐标系下的第二坐标原点和第二法向量。

5.如权利要求4所述的多传感器联合标定方法，其特征在于，根据所述第二平面表示，确定所述第二标定平面上观测点在所述观测坐标系下的第一坐标表示的步骤，包括：

获取在所述观测坐标系下，所述第二标定平面上观测点到所述第二坐标原点之间的第一向量；

根据所述第一向量与所述第二法向量的垂直关系，确定所述第二标定平面上观测点在所述观测坐标系下的第一坐标表示。

6.如权利要求1所述的多传感器联合标定方法，其特征在于，根据所述第一坐标表示、所述第一位姿变换关系和所述第二坐标表示，确定所述第二传感坐标系到所述第一传感坐标系的第二位姿变换关系的步骤，包括：

获取对不同位姿的标定装置标定得到的多组位姿变换数据，每组位姿变换数据包括第一位姿变换关系和第二坐标表示；

根据所述第一坐标表示和所述多组位姿变换数据，确定所述第二传感坐标系到所述第一传感坐标系的第二位姿变换关系。

7.如权利要求6所述的多传感器联合标定方法，其特征在于，根据所述第一坐标表示和所述多组位姿变换数据，确定所述第二传感坐标系到所述第一传感坐标系的第二位姿变换关系的步骤，包括：

根据所述第一坐标表示和所述位姿变换数据，得到每组位姿变换数据下所述第二传感坐标系到所述第一传感坐标系的候选第二位姿变换关系；

通过最小二乘法对所述多组位姿变换数据和多个候选第二位姿变换关系求解；

根据求解结果，得到所述第二传感坐标系到所述第一传感坐标系的第二位姿变换关系。

8.一种多传感器联合标定装置，其特征在于，适用于标定系统，所述标定系统包括标定装置、服务器以及设置在车辆上的第一传感器和第二传感器，所述标定装置包括共轴且不平行的第一标定板和第二标定板，所述第一标定板包括朝向所述第一传感器的第一标定平面，所述第二标定板包括朝向所述第二传感器的第二标定平面，所述多传感器联合标定装置设置在所述服务器中，所述多传感器联合标定装置包括：

9.一种电子设备，其特征在于，包括存储器和处理器；所述存储器存储有应用程序，所述处理器用于运行所述存储器内的应用程序，以执行权利要求1至7任一项所述的多传感器联合标定方法中的操作。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行以实现权利要求1至7任一项所述的多传感器联合标定方法。