CN113494927A - 一种车辆多传感器标定方法、装置及车辆 - Google Patents

Abstract

本发明涉及一种车辆多传感器标定方法、装置及车辆，包括：在车辆行驶过程中，获取至少两种不同类型的传感器对检测目标的检测结果；根据当前的标定参数，判断对检测目标的检测结果是否满足标定条件，当前的标定参数为标定参数初值或者由标定参数初值更新得到；若满足标定条件，则根据从检测目标中选取的部分检测目标所对应的检测结果，计算新的标定参数，并用新的标定参数更新当前的标定参数；采用更新后的标定参数进行不同类型的传感器的检测结果标定。本发明解决了行驶过程中由于车辆不断振动，导致先前的标定参数不再适用的问题，减小了标定后不同传感器测量结果之间的误差，提高了车辆的环境感知准确性。

Description

一种车辆多传感器标定方法、装置及车辆

技术领域

本发明属于无人驾驶技术领域，具体涉及一种车辆多传感器标定方法、装置及车辆。

背景技术

自动驾驶车在未知环境中行驶时，需要多传感器融合的方式感知环境，对车辆行驶区域内的目标(静态目标和动态目标)进行检测、分类和定位。其中，自动驾驶车上用于目标感知的传感器一般包括激光雷达、毫米波雷达、双目视觉、单目视觉，由于不同传感器安装位置不同，感知的坐标基准不统一，为了进行多传感器融合就需要对不同传感器进行坐标转换，统一基准，比如都转换至车体坐标系。

然而，即使进行了坐标转换，转换后的坐标仍无法保证理论上的严格统一。如图1所示，分别用激光雷达和双目视觉对三个目标进行感知记录位置，并将结果转化至车体坐标系下，可以看出即使进行了坐标统一，双目视觉结果相对于激光雷达结果均向右偏移，这就给多传感器目标关联和融合造成很大困难。这种坐标不统一的误差可以通过多传感器联合标定修正，通常的做法是在车辆使用之前，当传感器安装完成后，在感知区域内放置一个3D标定物，多个传感器测量统一目标的位置，多次测量后进行数据拟合，得到多个传感器之间的标定参数，将标定参数写入感知系统，从而修正感知结果，再进行融合。例如，授权公告号为CN100586200C的中国发明专利文件公开了一种基于激光雷达的摄像头标定方法，通过在标定场制作标定物，用激光雷达测得目标在世界坐标系中的位置，用相机测得目标在相机坐标系的位置，以激光雷达测得结果作为参考，根据多个测量结果构建方程组计算相机坐标系向世界坐标系的转换矩阵，作为标定结果。

上述通过在车辆投入使用前进行参数标定的方式可以在一定程度上修正误差，但是仅在使用前进行一次标定，数据量有限，且不能保证标定场景和实际场景的一致性。同时自动驾驶车在行驶颠簸过程中，传感器自身位置和姿态都会发生变化，前期的标定结果已无法适用，从而导致最终标定后的不同传感器坐标结果之间的误差依旧较大，导致环境感知不准确。

发明内容

本发明提供了一种车辆多传感器标定方法、装置及车辆，用于解决车辆在行驶过程中由于传感器的位置或者姿态发生变化，前期的标定数据不再适用，导致标定后的不同传感器坐标结果之间的误差较大的问题。

为解决上述技术问题，本发明的技术方案包括：

本发明提供了一种车辆多传感器标定方法，包括以下步骤：

在车辆行驶过程中，获取至少两种不同类型的传感器对检测目标的检测结果；

根据当前的标定参数，判断所述对检测目标的检测结果是否满足标定条件，所述当前的标定参数为标定参数初值或者由标定参数初值更新得到；

若满足标定条件，则根据从所述检测目标中选取的部分检测目标所对应的检测结果，计算新的标定参数，并用所述新的标定参数更新当前的标定参数；

采用更新后的标定参数进行不同类型的传感器的检测结果标定。

本发明的有益效果为：在车辆行驶过程中，获取不同类型的传感器对检测目标的检测结果，当满足标定条件时，根据这些检测结果重新确定标定参数，以解决行驶过程中由于车辆不断振动，传感器自身位置、姿态发生变化，导致先前的标定参数不再适用的问题，减小了标定后不同传感器测量结果之间的误差，提高了车辆的环境感知准确性。

作为方法的进一步改进，为了避免仅选取传感器感知范围内的部分区域的检测目标，导致标定偏差较大，所述选取的部分检测目标为均匀分布在各种不同类型的传感器的感知范围交集内的检测目标。

作为方法的进一步改进，为了准确判断是否需要重新确定标定参数，所述标定条件为根据所述当前的标定参数标定后的各个检测目标的检测结果的误差标准差大于设定误差阈值。

作为方法的进一步改进，为了准确判断是否需要重新确定标定参数，所述标定条件为根据所述当前的标定参数标定后的任一检测目标的检测结果的误差大于设定误差阈值。

作为方法的进一步改进，为了确定标定参数初值，所述标定参数初值是根据线下标定方式确定的，所述线下标定方式为：在车辆行驶前，采用所述至少两种不同类型的传感器对标定物进行检测，并根据不同类型的传感器对标定物的检测结果，计算标定参数初值。

作为方法的进一步改进，为了确定标定参数初值，所述标定参数初值是根据线下计算方式确定的，所述线下计算方式为：在车辆行驶前，根据所述至少两种不同类型的传感器的安装位置和角度，计算标定参数初值。

作为方法的进一步改进，所述传感器的类型为两种。

作为方法的进一步改进，一种传感器为激光雷达或毫米波雷达，另一种传感器为双目相机或单目相机。

本发明还提供了一种车辆多传感器标定装置，包括处理器和存储器，所述处理器用于处理存储在所述存储器中的指令，以实现上述的车辆多传感器标定方法。

为解决上述技术问题，本发明还提供了一种车辆，包括至少两种不同类型的传感器以及连接各个传感器的车辆多传感器标定装置，所述车辆多传感器标定装置包括处理器和存储器，所述处理器用于处理存储在所述存储器中的指令，以实现上述的车辆多传感器标定方法。

本发明的有益效果是：在车辆行驶过程中，获取不同类型的传感器对检测目标的检测结果，当满足标定条件时，根据这些检测结果重新确定标定参数，以解决行驶过程中由于车辆不断振动，传感器自身位置、姿态发生变化，导致先前的标定参数不再适用的问题，减小了标定后不同传感器测量结果之间的误差，提高了车辆的环境感知准确性。

附图说明

图1是现有技术中坐标转换后的不同传感器的检测结果；

图2是本发明的激光雷达和双目相机的安装左视图；

图3是本发明的激光雷达和双目相机的安装俯视图；

图4是本发明的车辆多传感器标定方法的流程图；

图5是本发明的坐标转换后的激光雷达和双目相机的检测结果示意图；

图6是本发明的标定后的激光雷达和双目相机的检测结果示意图；

图7是本发明的用多传感器的安装位置和角度计算得到标定初值时激光雷达和双目相机的安装俯视图；

其中：1为激光雷达，2为双目相机。

具体实施方式

车辆多传感器标定方法实施例：

本实施例提供了一种车辆多传感器标定方法，该方法可以在自动驾驶实际运行时自动对多个传感器进行实时自主地标定，不断校正多传感器的坐标，实现坐标统一。

在本实施例中，以激光雷达(lidar)和双目相机(camera)两种类型的传感器为例，对该车辆多传感器标定方法的具体实施方式进行介绍。如图2和图3所示，双目相机安装于车体内部前挡风玻璃中心周围，激光雷达安装于车头前方中心位置。当然，作为其他的实施方式，可以根据需要来确定激光雷达和双目相机在车辆上的设定位置。

其中，激光雷达的工作过程为：激光雷达向目标发射激光束，然后接收从目标返回的回波，通过发射波和回波进行比较得到该束激光在目标物上的点，激光束在水平面快速扫面在目标物上形成大量的点，点云通过聚类解算得到目标的位置、速度、姿态和类型等参数，实现对目标的探测、跟踪和识别。

双目相机的工作过程为：利用目标点在摄像头左右两幅视图上成像的横向坐标差异(即视差)，与目标到成像平面存在的比例关系，通过解三角形得到目标点位置，然后根据图像内目标点的关联关系和边缘提取识别出目标物，进而得到目标的位置、速度等参数，实现对目标的探测、跟踪和识别。

基于上述的两种不同类型的传感器，即激光雷达和双目相机，该车辆多传感器标定方法主要包括线下标定、实时在线存储标定数据和实时自主标定三个阶段，其对应的流程图如图4所示，三个阶段的具体实现过程如下：

(1)线下标定，确定标定参数初值。

在标定场所内选取形状规则的3D目标物作为检测目标，如长方形、正方形等，放置在车辆前方激光雷达和双目相机均可检测到的位置，记录激光雷达和双目相机对标定物检测的位置结果，多次测量得到位置结果向量。

激光雷达测得目标位置数据记录如下：

其中

是第i次用激光雷达测得的目标的二维坐标，n(n＞10)表示测量次数。

双目相机测得目标位置数据记录如下：

其中

是第i次用双目相机测得的目标的二维坐标，n(n＞10)表示测量次数。

如图5所示，双目相机测得的结果经坐标转换后相对于激光雷达结果来说仍然偏左，标定即是将两者的差异建模为坐标转换，通过构建一个旋转矩阵和平移矩阵，将其中一个传感器的检测结果以误差最小的方式向另外一个传感器的检测结果进行转换。

在本实施例中，由于激光雷达的精度较高，安装固定性好，假设激光雷达测量结果已准确转化至车体坐标系，将双目相机的测量结果向激光雷达标定。在二维场景下，对单个检测目标来说，假设视觉检测结果

向激光检测结果

变换的旋转矩阵为

平移矩阵为

则可得：

对于多个检测目标形成的向量来说：

通过公式(1)，可以得到n*2个方程组成的方程组，根据数据拟合和最小二乘法计算旋转矩阵

和平移矩阵

由于此处计算旋转矩阵和平移矩阵的过程属于现有技术，此处不再赘述。

将得到的旋转矩阵和平移矩阵共6个参数作为多传感器联合标定的初始参数即标定参数初值，并存入到标定系统。

(2)车辆行驶过程中，实时在线存储标定数据。

线下标定完成后，在车辆自动驾驶系统实际运行过程中，激光雷达和双目相机会不断检测目标，记录激光雷达和双目相机对同一个目标的检测结果，并存储为向量。记录多组数据构成两个向量，存储在本地内存中：

其中，在公式(2)中，

和

对应，分别为激光雷达和双目相机测得的同一目标的位置结果，N表示测量次数即目标个数，通常N＞n。

(3)实时自主标定。

自动驾驶车辆开始行驶后，行驶过程中车身晃动引起传感器位姿(位置或姿态)变化，会导致当前的标定参数(这里指标定参数初值)不准确，这时就需要重新确定新的标定参数。为了判断当前的标定参数是否准确，根据当前的标定参数，对实时在线存储的激光雷达和双目相机对各个检测目标的检测结果数据进行标定，计算标定后的各个检测目标的检测结果的误差标准差，并将其与设定误差阈值ε进行比较。当标定后的各个检测目标的检测结果的误差标准差大于设定误差阈值ε时，则说明当前的标定参数不准确。

为了重新确定新的标定参数，标定系统根据实时在线存储的激光雷达和双目相机检测的目标位置检测结果，从中选取部分检测目标对应的检测结果。这里选取的部分检测目标为均匀分布在两种不同类型的传感器的感知范围交集内的检测目标。根据选取的部分检测目标所对应的位置检测结果，利用线下标定中的方法计算新的标定参数，并用新的标定参数更新当前的标定参数(这里指标定参数初值)，采用更新后的标定参数进行不同类型的传感器的检测结果标定。在确定新的标定参数的过程中，通过对检测目标进行选取，避免出现比如仅选传感器感知区域左侧数据造成的标定偏差，提升了标定结果的普适性和健壮性。

之后，随着自动驾驶车辆的行驶，会不断出现当前的标定参数(这里指更新后的标定参数)不准确的情况，此时就需要重复确定新的标定参数，并采用确定的新的标定参数对当前的标定参数进行更新，从而实现多传感器的实时自主标定。

利用上述的车辆多传感器标定方法，对图1所示的激光雷达数据和双目相机数据进行标定，标定后的结果如图6所示。从图6中可以看出，经过标定，两种类型的传感器的数据已经完成了坐标统一，同时标定后的双目相机的检测结果的精度得到修正。表1是标定前后激光雷达数据和双目相机数据的误差对比，误差由0.47m降低至0.23m，降低51.1％。

表1

	标定前/m	标定后/m
			双目检测误差	0.47	0.23

需要说明的是，在上述的车辆多传感器标定方法中，线下标定是通过采用不同类型的传感器对3D目标物进行检测，并根据检测到的位置数据计算旋转矩阵和平移矩阵，进而得到标定初值。作为其他的实施方式，可以用多传感器的安装位置和角度计算得到标定初值，过程如下：

如图7所示，将激光雷达1安装在车头正前方，朝前安装，将双目相机2安装在车辆前端两角，与前方呈约45°。将激光雷达1、双目相机2的传感器坐标系转换到车辆坐标系上实现坐标统一后，标定参数中的旋转矩阵取单位阵，平移矩阵取零向量作为默认值。

在上述的车辆多传感器标定方法中，为了判断当前的标定参数是否准确，将标定后的各个检测目标的检测结果的误差标准差与设定误差阈值进行比较，当误差标准差大于设定误差阈值时，则说明当前的标定参数不准确。作为其他的实施方式，为了判断当前的标定参数是否准确，也可以将标定后的任一检测目标的检测结果的误差与对应的设定阈值进行比较，当标定后的任一检测目标的检测结果的误差大于对应的设定阈值时，则判定当前的标定参数不准确，此时，检测目标的数据可以为一个或多个。

在上述的车辆多传感器标定方法中，为了重新确定新的标定参数，选取均匀分布在两种不同类型的传感器的感知范围交集内的检测目标参与计算，以提高标定准确性。作为其他的实施方式，也可以根据实际情况，按照其他方式来选取参与计算的检测目标，例如，在传感器的感知范围交集内的一侧及该侧的对侧选取相同数目的检测目标。

另外，上述的车辆多传感器标定方法是以激光雷达和双目相机为例进行说明的，作为其他的实施方式，激光雷达和双目相机也可以替换为其他种类的多传感器组合。例如，用毫米波雷达代替本方案中的激光雷达，用单目相机代替本方案中的双目相机，也可以实现多于两个传感器的标定。当然，该方法也适用于两种以上不同传感器的标定过程，例如，当有三种不同种类的传感器时，可以从中选取一种传感器作为基准，然后计算其他种类的传感器相对该基准传感器的标定参数。为了保证最终测量结果的准确性，可以选取测量精度相对较高，安装位置固定性较好的传感器作为基准。

上述的车辆多传感器标定方法通过对不同种类的传感器进行实时标定，不断更新标定参数，实时纠正了自动驾驶车不断振动导致的多传感器不一致性，减小了标定后不同类型传感器测量结果之间的误差，提高了车辆的环境感知准确性。

车辆多传感器标定装置实施例：

本实施例提供了一种车辆多传感器标定装置，包括处理器和存储器，该处理器用于处理存储在存储器中的指令，以实现一种车辆多传感器标定方法。由于该车辆多传感器标定方法已经在上述的车辆多传感器标定方法实施例中进行了详细介绍，此处不再赘述。

车辆实施例：

本实施例提供了一种车辆，该车辆上设置有至少两种不同类型的传感器以及车辆多传感器标定装置，车辆多传感器标定装置连接各传感器，以获取传感器检测到的数据信息。由于该车辆多传感器标定装置已经在上述的车辆多传感器标定装置实施例中进行了介绍，此处不再赘述。

Claims (10)

1.一种车辆多传感器标定方法，其特征在于，包括以下步骤：

在车辆行驶过程中，获取至少两种不同类型的传感器对检测目标的检测结果；

根据当前的标定参数，判断所述对检测目标的检测结果是否满足标定条件，所述当前的标定参数为标定参数初值或者由标定参数初值更新得到；

若满足标定条件，则根据从所述检测目标中选取的部分检测目标所对应的检测结果，计算新的标定参数，并用所述新的标定参数更新当前的标定参数；

采用更新后的标定参数进行不同类型的传感器的检测结果标定。

2.根据权利要求1所述的车辆多传感器标定方法，其特征在于，所述选取的部分检测目标为均匀分布在各种不同类型的传感器的感知范围交集内的检测目标。

3.根据权利要求1或2所述的车辆多传感器标定方法，其特征在于，所述标定条件为根据所述当前的标定参数标定后的各个检测目标的检测结果的误差标准差大于设定误差阈值。

4.根据权利要求1或2所述的车辆多传感器标定方法，其特征在于，所述标定条件为根据所述当前的标定参数标定后的任一检测目标的检测结果的误差大于设定误差阈值。

5.根据权利要求1或2所述的车辆多传感器标定方法，其特征在于，所述标定参数初值是根据线下标定方式确定的，所述线下标定方式为：在车辆行驶前，采用所述至少两种不同类型的传感器对标定物进行检测，并根据不同类型的传感器对标定物的检测结果，计算标定参数初值。

6.根据权利要求1或2所述的车辆多传感器标定方法，其特征在于，所述标定参数初值是根据线下计算方式确定的，所述线下计算方式为：在车辆行驶前，根据所述至少两种不同类型的传感器的安装位置和角度，计算标定参数初值。

7.根据权利要求1或2所述的车辆多传感器标定方法，其特征在于，所述传感器的类型为两种。

8.根据权利要求7所述的车辆多传感器标定方法，其特征在于，一种传感器为激光雷达或毫米波雷达，另一种传感器为双目相机或单目相机。

9.一种车辆多传感器标定装置，其特征在于，包括处理器和存储器，所述处理器用于处理存储在所述存储器中的指令，以实现权利要求1-8中任一项所述的车辆多传感器标定方法。

10.一种车辆，其特征在于，包括至少两种不同类型的传感器以及连接各个传感器的车辆多传感器标定装置，所述车辆多传感器标定装置包括处理器和存储器，所述处理器用于处理存储在所述存储器中的指令，以实现权利要求1-8中任一项所述的车辆多传感器标定方法。

Images