CN112684424A - 一种毫米波雷达与相机的自动标定方法 - Google Patents

Abstract

本发明涉及一种毫米波雷达与相机的自动标定方法，包括以下步骤：1)在毫米波雷达与相机的交叉可视范围内设置且仅设置一个运动目标，该运动目标在交叉可视范围内移动多处位置；2)毫米波雷达和相机以相同起始时刻及相同频率进行采样；3)对每个采样周期内毫米波雷达和相机的多个目标点进行初步筛选；4)分别获取连续多个采样周期的毫米波雷达和相机得到的目标点，并进行离群点筛选；5)将进行离群点筛选后的连续采样周期的雷达目标点坐标和相机目标点坐标，并构建神经网络进行训练，根据训练后的神经网络实现毫米波雷达与相机的自动标定。与现有技术相比，本发明具有减少标定工作量、相机内参标定和传感器外参标定结合于一体等优点。

Description

一种毫米波雷达与相机的自动标定方法

技术领域

本发明涉及自动驾驶技术领域，尤其是涉及一种毫米波雷达与相机的自动标定方法。

背景技术

随着驾驶辅助系统及自动驾驶系统的发展，对周围环境的感知已经由单一传感器转变为多传感器融合。相机和毫米波雷达是目前常用两种传感器。相机可以返回目标的轮廓和颜色信息，但不易获得目标的位置信息，并且会受到天气影响。毫米波雷达可以返回目标的准确位置及速度信息，且具有全天候感知的特性。因此，对这两种传感器的有效利用可以进一步提高整个体统的感知能力。

由于相机和毫米波雷达安装在车辆的不同位置，所参考的坐标系间有空间差异，所以需要对其进行空间标定，在标定过程中，需要找到多组两个传感器识别匹配点的三维坐标，才能求解空间变换矩阵，但相机无法直接得到目标的实际距离，通常这一步骤需要人工测量，难免会造成不便与误差，其中，相机的标定还需要进行内参标定，得到内参矩阵，整个标定过程相对繁杂。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种毫米波雷达与相机的自动标定方法。

本发明的目的可以通过以下技术方案来实现：

一种毫米波雷达与相机的自动标定方法，包括以下步骤：

1)在毫米波雷达与相机的交叉可视范围内设置且仅设置一个运动目标，该运动目标在交叉可视范围内移动多处位置；

2)毫米波雷达和相机以相同起始时刻及相同频率进行采样，每个采样周期分别获得n个毫米波雷达目标点坐标，以及m个相机目标点的中心像素点坐标；

3)对每个采样周期内毫米波雷达和相机的多个目标点进行初步筛选，得到每个采样周期对应的一个毫米波雷达目标点和相机目标点；

4)分别获取连续多个采样周期的毫米波雷达和相机得到的目标点，并进行离群点筛选；

5)将进行离群点筛选后的连续采样周期的雷达目标点坐标和相机目标点坐标，并构建神经网络进行训练，根据训练后的神经网络实现毫米波雷达与相机的自动标定。

所述的步骤3)中，若毫米波雷达在当前采样周期的目标点总数n大于1，则根据每个目标点的速度V和雷达截面积RCS进行初步筛选，筛选条件为V＞0,RCS＞50，然后在初步筛选后的目标点中随机选取1个作为当前周期的毫米波雷达目标点。

所述的步骤3)中，若相机在当前采样周期的目标点总数m大于1，则选取识别分数最高的目标点作为当前周期的相机目标点。

所述的步骤4)中，对于筛选后的毫米波雷达目标点，进行离群点筛选的具体包括以下步骤：

401)计算筛选后的毫米波雷达目标点的平均坐标

计算公式为：

其中，M为毫米波雷达的连续采样周期数，(x_i,y_i,z_i)为筛选后第i个采样周期的毫米波雷达目标点P_i ^R的坐标；

402)计算筛选后的雷达目标点P_i ^R(x_i,y_i,z_i)与平均坐标

之间的欧氏距离D_R，计算公式为：

403)设置离群点阈值G_R，若D_R＞G_R，则判定雷达目标点P_i ^R(x_i,y_i,z_i)为离群点，返回步骤3)，再次随机选取1个目标点作为当前周期的毫米波雷达目标点，若D_R≤G_R，则更新历史信息，进行步骤5)。

所述的步骤4)中，对于筛选后的相机目标点，进行离群点筛选的具体包括以下步骤：

411)计算筛选后的相机目标点的平均坐标

计算公式为：

其中，N为相机的连续采样周期数，(u_j,v_j)为筛选后第j个采样周期的雷达目标点坐标；

412)计算筛选后的相机目标点

与平均坐标

的欧氏距离D_C，公式为：

413)设置离群点阈值G_C，若D_C＞G_C，则判定相机目标点

为离群点，返回步骤3)，选择识别分数第二高的目标点作为当前周期的相机目标点，若D_C≤G_C，则更新历史信息，进行步骤5)。

所述的步骤5)具体包括以下步骤：

51)获取进行离散点筛选后的连续M个采样周期的雷达目标点坐标以及进行离散点筛选后的连续N个采样周期的相机目标点坐标，按照3:1:1划分为训练集、验证集和测试集；

52)分别构建第一神经网络和第二神经网络，以雷达目标点坐标作为第一神经网络的输入，相机目标点坐标作为第一神经网络的输出，并且以相机目标点坐标作为第二神经网络的输入，雷达目标点坐标作为第二神经网络的输出，分别进行训练；

53)将训练后的第一神经网络表示雷达坐标系到相机像素坐标系的映射关系，将训练后的第二神经网络表示相机像素坐标系到雷达坐标系的映射关系，完成标定。

所述的步骤52)中，第一神经网络在当前周期的损失计算公式为：

其中，

为第一神经网络对于第k组训练集的网络预测相机目标点坐标，(u_k,v_k)为第一神经网络对于第k组训练集的相机目标点实际采样坐标。

所述的步骤53)中，第一神经网络包括两个隐藏层，每个隐藏层有30个神经元，其中，每层激活函数采用ReLU函数，其根据损失L₁更新网络权重，表示雷达坐标系到相机像素坐标系的映射关系，则有：

其中，K^3×3,R^3×3,T^3×1分别为相机内参矩阵、空间旋转矩阵和空间平移矩阵，y_c为目标在相机坐标系下到相机的距离。

所述的步骤52)中，第二神经网络在当前周期的损失计算公式为：

其中，

为第二神经网络对于第k组训练集的网络预测雷达目标点坐标，(x_k,y_k,z_k)为第一神经网络对于第k组训练集的雷达目标点实际采样坐标。

所述的步骤53)中，第二神经网络包括两个隐藏层，每个隐藏层有30个神经元，其中，每层激活函数采用ReLU函数，其根据损失L₂更新网络权重，表示相机像素坐标系到雷达坐标系的映射关系，则有：

其中，K^3×3,R^3×3,T^3×1分别为相机内参矩阵、毫米波雷达到像素平面的空间旋转矩阵和空间平移矩阵，y_c为目标在相机坐标系下到相机的距离。

与现有技术相比，本发明具有以下优点：

本发明基于神经网络，融合毫米波雷达信息和相机目标识别信息，通过运动目标作为匹配点，实现了毫米波雷达与相机的自动标定，将相机内参标定和传感器外参标定结合于一体，极大地减少了标定工作量，有利于保证多传感器融合感知系统的良好运行。

附图说明

图1为本发明的整体方法流程图。

图2为本发明神经网络结构图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

实施例

如图1所示，本发明提供一种毫米波雷达与相机的自动标定方法，包含以下步骤：

S1、本方法需要在空旷场地实施，保证毫米波雷达与相机的交叉可视范围内只有一个运动目标，运动目标需要尽可能地在交叉可视范围内移动多处位置，毫米波雷达和相机以相同起始时刻及相同频率进行采样，本实施例的采样周期为0.08s，在5个采样周期后开始标定；

S2、利用毫米波雷达和相机进行采样，每个采样周期分别获得n个毫米波雷达目标点坐标

m个相机目标中心像素点坐标

基于图像的目标检测现有多种经典开源算法，本实施例采用的算法为YOLOV2，可根据硬件条件自行选择合适的图像目标检测算法；

S3、本发明可根据所采用毫米波雷达的特点，在速度和RCS特征基础之上结合其他特征进行筛选，例如目标状态、检测概率、信噪比等信息，由于毫米波雷达存在较多虚警，若毫米波雷达在1个周期的目标数n>1，在本实施例中采用的毫米波雷达能够返回速度、雷达截面积、目标状态，这些信息都被用于目标筛选，筛选条件为V＞0,RCS＞50，目标状态为确认目标；

然后在筛选后的目标点中随机选取1个作为当前周期的雷达目标点，相机在进行目标识别时也可能出现误报，若相机在1个周期的目标数m>1，则只保留识别分数最高的目标点作为当前周期的相机目标点；

S4、经过步骤S3的筛选后，相机和毫米波雷达仍然可能存在误报，但该误报一般离实际目标较远，所以分别保存相邻前5个周期的毫米波雷达和相机得到的目标点，并进行离群点筛选，步骤如下：

S41、计算毫米波雷达筛选后的目标点的平均坐标

公式为：

计算筛选后的雷达目标点

与平均坐标

的欧氏距离D_R，公式为：

设置离群点阈值G_R＝5，若D_R＞G_R，则目标点

为离群点，返回步骤S3，再次随机选择一个目标点，若D_R≤G_R，则更新历史信息，进行步骤S5；

S42、计算相机筛选后的目标点的平均坐标

公式为：

计算筛选后的相机目标点

与平均坐标

的欧氏距离D_C，公式为：

设置离群点阈值G_C＝50，若D_C＞G_C，则目标点

为离群点，返回步骤S3，选择识别分数第二高的目标点，若D_C≤G_C，则更新历史信息，进行步骤S5；

S5、连续保存5个采样周期所获得的雷达目标点坐标

和相机目标点坐标

作为匹配点，并按照3:1:1划分为训练集、验证集和测试集，分别送入神经网络1和神经网络2进行训练，如图2所示，两个神经网络具有相同的结构，均包括两个隐藏层，每个隐藏层有30个神经元，其中每层激活函数采用ReLU函数，具体训练步骤如下：

S51、将每组训练集(本例中共3组)中的雷达目标点坐标

作为神经网络1的输入，相机目标点坐标

作为神经网络1的输出，神经网络1在当前周期的损失计算公式为

其中，

为网络预测值，根据损失更新网络权重，神经网络1可替代雷达坐标系到相机像素坐标系的映射关系，该关系为：

其中，K^3×3,R^3×3,T^3×1分别为相机内参矩阵、空间旋转矩阵和空间平移矩阵，y_c为目标在相机坐标系下到相机的距离；

S52、将相机目标点坐标

作为神经网络2的输入，雷达目标点坐标

作为神经网络2的输出，神经网络2在当前周期的损失计算公式为

其中，

为网络预测值，根据损失更新网络权重，神经网络2可替代相机像素坐标系到雷达坐标系的映射关系，该关系为：

其中，K^3×3,R^3×3,T^3×1分别为相机内参矩阵、毫米波雷达到像素平面的空间旋转矩阵和空间平移矩阵，y_c为目标在相机坐标系下到相机的距离；

S6.重复S2-S5，直到L₁,L₂收敛，结束训练。

Claims (10)

1.一种毫米波雷达与相机的自动标定方法，其特征在于，包括以下步骤：

1)在毫米波雷达与相机的交叉可视范围内设置且仅设置一个运动目标，该运动目标在交叉可视范围内移动多处位置；

2)毫米波雷达和相机以相同起始时刻及相同频率进行采样，每个采样周期分别获得n个毫米波雷达目标点坐标，以及m个相机目标点的中心像素点坐标；

3)对每个采样周期内毫米波雷达和相机的多个目标点进行初步筛选，得到每个采样周期对应的一个毫米波雷达目标点和相机目标点；

4)分别获取连续多个采样周期的毫米波雷达和相机得到的目标点，并进行离群点筛选；

5)将进行离群点筛选后的连续采样周期的雷达目标点坐标和相机目标点坐标，并构建神经网络进行训练，根据训练后的神经网络实现毫米波雷达与相机的自动标定。

2.根据权利要求1所述的一种毫米波雷达与相机的自动标定方法，其特征在于，所述的步骤3)中，若毫米波雷达在当前采样周期的目标点总数n大于1，则根据每个目标点的速度V和雷达截面积RCS进行初步筛选，筛选条件为V＞0,RCS＞50，然后在初步筛选后的目标点中随机选取1个作为当前周期的毫米波雷达目标点。

3.根据权利要求1所述的一种毫米波雷达与相机的自动标定方法，其特征在于，所述的步骤3)中，若相机在当前采样周期的目标点总数m大于1，则选取识别分数最高的目标点作为当前周期的相机目标点。

4.根据权利要求1所述的一种毫米波雷达与相机的自动标定方法，其特征在于，所述的步骤4)中，对于筛选后的毫米波雷达目标点，进行离群点筛选的具体包括以下步骤：

401)计算筛选后的毫米波雷达目标点的平均坐标P_c ^R(x_c,y_c,z_c)，计算公式为：

其中，M为毫米波雷达的连续采样周期数，(x_i,y_i,z_i)为筛选后第i个采样周期的毫米波雷达目标点P_i ^R的坐标；

402)计算筛选后的雷达目标点P_i ^R(x_i,y_i,z_i)与平均坐标P_c ^R(x_c,y_c,z_c)之间的欧氏距离D_R，计算公式为：

403)设置离群点阈值G_R，若D_R＞G_R，则判定雷达目标点P_i ^R(x_i,y_i,z_i)为离群点，返回步骤3)，再次随机选取1个目标点作为当前周期的毫米波雷达目标点，若D_R≤G_R，则更新历史信息，进行步骤5)。

5.根据权利要求4所述的一种毫米波雷达与相机的自动标定方法，其特征在于，所述的步骤4)中，对于筛选后的相机目标点，进行离群点筛选的具体包括以下步骤：

411)计算筛选后的相机目标点的平均坐标P_c ^C(u_c,v_c)，计算公式为：

其中，N为相机的连续采样周期数，(u_j,v_j)为筛选后第j个采样周期的雷达目标点坐标；

412)计算筛选后的相机目标点P_j ^C(u_j,v_j)与平均坐标P_c ^C(u_c,v_c)的欧氏距离D_C，公式为：

413)设置离群点阈值G_C，若D_C＞G_C，则判定相机目标点P_j ^C(u_j,v_j)为离群点，返回步骤3)，选择识别分数第二高的目标点作为当前周期的相机目标点，若D_C≤G_C，则更新历史信息，进行步骤5)。

6.根据权利要求5所述的一种毫米波雷达与相机的自动标定方法，其特征在于，所述的步骤5)具体包括以下步骤：

51)获取进行离散点筛选后的连续M个采样周期的雷达目标点坐标以及进行离散点筛选后的连续N个采样周期的相机目标点坐标，按照3:1:1划分为训练集、验证集和测试集；

52)分别构建第一神经网络和第二神经网络，以雷达目标点坐标作为第一神经网络的输入，相机目标点坐标作为第一神经网络的输出，并且以相机目标点坐标作为第二神经网络的输入，雷达目标点坐标作为第二神经网络的输出，分别进行训练，直至网络损失收敛；

53)将训练后的第一神经网络表示雷达坐标系到相机像素坐标系的映射关系，将训练后的第二神经网络表示相机像素坐标系到雷达坐标系的映射关系，完成标定。

7.根据权利要求6所述的一种毫米波雷达与相机的自动标定方法，其特征在于，所述的步骤52)中，第一神经网络在当前周期的损失计算公式为：

其中，

为第一神经网络对于第k组训练集的网络预测相机目标点坐标，(u_k,v_k)为第一神经网络对于第k组训练集的相机目标点实际采样坐标。

8.根据权利要求7所述的一种毫米波雷达与相机的自动标定方法，其特征在于，所述的步骤53)中，第一神经网络包括两个隐藏层，每个隐藏层有30个神经元，其中，每层激活函数采用ReLU函数，其根据损失L₁更新网络权重，表示雷达坐标系到相机像素坐标系的映射关系，则有：

其中，K^3×3,R^3×3,T^3×1分别为相机内参矩阵、空间旋转矩阵和空间平移矩阵，y_c为目标在相机坐标系下到相机的距离。

9.根据权利要求6所述的一种毫米波雷达与相机的自动标定方法，其特征在于，所述的步骤52)中，第二神经网络在当前周期的损失计算公式为：

其中，

为第二神经网络对于第k组训练集的网络预测雷达目标点坐标，(x_k,y_k,z_k)为第一神经网络对于第k组训练集的雷达目标点实际采样坐标。

10.根据权利要求9所述的一种毫米波雷达与相机的自动标定方法，其特征在于，所述的步骤53)中，第二神经网络包括两个隐藏层，每个隐藏层有30个神经元，其中，每层激活函数采用ReLU函数，其根据损失L₂更新网络权重，表示相机像素坐标系到雷达坐标系的映射关系，则有：

其中，K^3×3,R^3×3,T^3×1分别为相机内参矩阵、毫米波雷达到像素平面的空间旋转矩阵和空间平移矩阵，y_c为目标在相机坐标系下到相机的距离。

Images