CN114898144A - 一种基于相机和毫米波雷达数据的自动对齐方法 - Google Patents

Abstract

本发明公开了一种基于相机和毫米波雷达数据的自动对齐方法，该方法首先通过毫米波雷达扫描获得点云数据，通过相机获取视觉图像信息，然后基于到DLA‑34网络结构处理以获得图像特征图，进一步的将有效毫米波点云映射到图像特征图中，接着设定最大目标数和计算点云特征向量，通过attention融合模块进行处理，得到数据对齐后的雷达和图像融合特征图；最后将图像融合特征图送入RetinaNet目标检测子网络进行处理，获得图像中目标的定位和分类结果，完成数据自动对齐。相比现有技术采用手工设计数据对齐组件，本发明降低了模型设计的复杂度，提高了目标识别的感知精度。

Description

一种基于相机和毫米波雷达数据的自动对齐方法

技术领域

本发明属于无人驾驶感知算法领域，具体涉及多元异构数据的融合技术，特别是一种相机和毫米波雷达数据的自动对齐方法。

背景技术

无人驾驶汽车的技术结构主要分为环境感知、导航定位、路径规划和运动控制四个方面，其中环境感知是其它3类关键技术的数据基础。环境感知技术所采用的传感器包括相机、激光雷达和毫米波雷达等。这些传感器各有优缺点，也互为补充。因此如何高效的融合多传感器数据，也就自然的成为感知算法研究的热点之一。激光雷达成本高，全天候效果差。而毫米波雷达具有稳定的探测性能和良好的环境适应性，是未来无人驾驶的必备传感器。由于毫米波雷达和相机的优势互补，利用视觉雷达融合策略精确测量周围物体的类型和坐标的研究也越来越广泛。

已知现有的毫米波雷达数据仅有径向和水平距离信息，对高度信息测量不精确，即仅有相机坐标系下的(X、H、Z)信息，没有Y轴信息(高度H不确定)，因此在投影时一个3D点云被映射为(fX/Z、fH/Z)，映射的可能位置是图片上一条垂直线。对于视觉和毫米波雷达的融合，技术实现上的主要难点在于数据对齐。常见的做法是对雷达点云进行高度补齐，例如假设一个点云对应的目标物体高度为3m，最终将一个点云投影为图像上的一条线段，与图像对齐；或者沿高度方向延伸点云形成一个个柱体，与视觉识别物体3D重建后的目标候选框进行对齐；还有的做法是将点云扩充为圆，增强图像效果。

现有技术的做法都是通过手工设计组件来进行数据对齐，可能会限制神经网络的学习能力，而且严重依赖于两个传感器之间的高质量校准，由于固有的时空偏差，这种校准往往难以获得。

为此，本发明提出一种相机和毫米波雷达数据的自动对齐方法，该方法通过attention进行隐性对齐，雷达数据包含径向和水平距离、rcs等数据，可以帮助数据对齐。

发明内容

发明目的：针对现有技术采用手工设计数据对齐组件，无法通过模块实现毫米雷达波和相机数据的自动对齐问题，本发明提供一种相机和毫米波雷达数据的自动对齐方法。

技术方案：一种基于相机和毫米波雷达数据的自动对齐方法，所述方法包括如下步骤：

(1)针对同一个视觉场景，通过毫米波雷达扫描获得毫米波点云数据，且相机获取视觉图像信息；

(2)对步骤(1)获得的图像信息进行预处理，基于DLA-34网络结构进行处理，得到图像特征图；

(3)将步骤(1)得到的毫米波雷达点云映射到步骤(2)中的图像特征图中，得到每个毫米波雷达点云在图像特征图中的位置；

(4)设定最大目标数，且根据图像特征图中位置对应的雷达点的属性值。

计算点云特征向量；

(5)将点云特征向量和图像特征图送入attention融合模块进行处理，得到数据对齐后的雷达和图像融合特征图；

(6)将图像融合特征图送入RetinaNet目标检测子网络进行处理，获得图像中目标的定位和分类结果；

(7)对步骤(6)中获得的所有目标识别框进行非极大值抑制处理，获得最终目标定位框和每个框的识别结果。

进一步的，步骤(1)考虑到毫米波雷达点云的稀疏性，应用若干个毫米波雷达点云数据和单个摄像机的图像数据，并且融合和当前图像帧时序最近的多帧点云数据。

进一步的，步骤(3)对于毫米波雷达点云映射过程如下：

(3.1)根据毫米波雷达点的状态属性值筛选和过滤掉无效雷达点；

(3.2)将有效的雷达点检测得到的横纵向距离通过投影变换转换到对应的视觉传感器所在的图像坐标系中转换为图像像素坐标系，在同一坐标系下实现毫米波雷达和视觉传感器在时间和空间的统一，如果投影到图像像素坐标系上的雷达点存在重合情况，则采用“近留远舍”的规则，距离近的覆盖距离远的雷达点；

其中，坐标转换通过标定矩阵完成，标定矩阵公式如下：

其中，[X_w，Y_w，Z_w，1]是毫米波雷达点在世界坐标系中的坐标，[X_c，Y_c，Z_c，1]是像素坐标系中的坐标，[u，v]是图像像素坐标系中的坐标；

图像到DLA-34最后一个特征图间的下采样系数为d，毫米波雷达点云P(u，v)在特征图中的坐标为P′(u′，v′)，其中(u′，v′)＝(u/d，v/d)。

进一步的，步骤(4)设定最大目标数的步骤如下：

图像的尺寸为h，w，图像到DLA-34最后一个特征图间的下采样系数为d，该特征图的尺寸为h′＝h/d，w′＝w/d，通道数为c1；特征图最多可检测出w′个目标物体，因此最大目标数可设定为N＝w′。

进一步的，步骤(4)中点云特征向量的计算步骤包括创建大小为N×c2的点云特征向量，然后从每个位置的雷达点的属性中选择c2个属性值，作为该点云特征向量u处的初始特征值，其中：N为最大目标数，c2为毫米波雷达点云数据属性值个数。

进一步的，步骤(5)中图像融合特征图包括如下过程：

(5.1)获取步骤(2)中的图像特征图E∈R^L×C1，步骤(4)中的点云特征向量Q_q∈R^{N ×C2}，其中L为图像特征图的空间特征数，即(h′×w′)；

(5.2)预测每个点云特征向量对应的目标物体的中心点位置(c_h′，c_w′)和尺寸大小(s_h′，s_w′)，计算过程如下：

c_h′，c_w′＝sigmoid(FC(Q_q))

s_h′，s_w′＝FC(Q_q)

并使用预测值生成目标物体的二维高斯分布G(i，j)，其中，β表示调节高斯分布的带宽，表达式如下：

(5.3)给定点云特征向量Q_q∈R^N×c2和图像特征图E∈R^L×c1，计算点云特征向量和图像特征的共同注意力C的权重C_weight∈R^N×L，计算过程如下：

K＝E

Q＝FC(Q_q)

点云特征向量由毫米波雷达点初始化，可以为预测目标物体提供空间先验，获取步骤(5.2)的高斯分布权重G∈R^N×L，修正后的C_weight∈R^N×L为：

C_weight对图像空间像素特征i和点云特征向量j进行了关系建模和表达，通过对C_weight执行行相加和sigmoid操作，建立所有点云对图像空间某点像素特征的累积影响，计算表达式如下：

(5.4)将步骤(5.3)得到的权重矩阵C_weight∈R^1×L和图像特征图E∈R^L×c1通过下列计算公式得到数据对齐后的图像融合特征图FE∈R^L×c1，计算表达式如下：

V＝E

其中，

表示元素级乘每个通道，

表示元素级相加。

有益效果：与现有技术相比，本发明所述方法基于相机和毫米波雷达数据的attention融合模块，实现数据进行自动对齐，不需要手工设计数据对齐组件，降低了模型设计的复杂度，提高了目标识别的感知精度。

附图说明

图1是本发明所述方法的处理流程图；

图2是本发明中所述DLA-34的网络结构图；

图3是本发明中所述attention融合模块的结构图。

具体实施方式

下面将结合本发明实施例中的附图和具体实施方式，对本发明实施例中的技术方案进行清楚、完整地描述。

结合背景技术中指出的现有技术中，毫米波雷达和相机的数据无法很好的实现自动对齐，其计算和操作过程复杂等问题，本发明提供一种基于相机和毫米波雷达数据的自动对齐方法。通过对现有的相机和毫米波雷达数据对齐的方法进行研究，设计了一种基于相机和毫米波雷达数据的attention融合模块，该模块能对数据进行自动对齐，不需要手工设计数据对齐组件，降低了模型设计的复杂度，提高了目标识别的感知精度。

根据上述的技术方案，本发明步骤如下：

(1)针对同一个视觉场景，通过毫米波雷达扫描获得毫米波点云数据，且相机获取视觉图像信息；

应用中，例如无人驾驶场景，一般车会安装传感器进行感知，本发明通过相机和雷达这两个传感器对于某个视觉场景，相机获取图片，毫米波雷达采集点云数据。毫米波雷达点云和摄像头数据获取的过程中，考虑到毫米波雷达点云的稀疏性，应用多个毫米波雷达点云数据和单个摄像机的图像数据，并且融合和当前图像帧时序最近的多帧点云数据。优先的，前向摄像头图像数据对应左前方、右前方以及前向毫米波雷达的3帧雷达数据。

(2)对步骤(1)获得的图像信息进行预处理，基于DLA-34网络结构进行处理，得到图像特征图；

预处理过程，实现将图像数据归一化处理，图像像素范围为0-255，归一化为0到1之间。对于DLA-34网络结构处理，缩放能够实现加快网络训练，优选的，图像信息缩放到448*800像素大小。

(3)将步骤(1)得到的毫米波雷达点云映射到步骤(2)中的图像特征图中，得到每个毫米波雷达点云在图像特征图中的位置；

根据毫米波雷达的状态属性值，进一步的区分有效数据和过滤无效的雷达点，然后包括坐标的转换处理。

(4)设定最大目标数，且根据图像特征图中位置对应的雷达点的属性值，计算点云特征向量；

由于无人驾驶摄像头图片数据中，前面的物体会遮挡后面的物体，因此对于特征图中最多存在特征图宽度大小个目标物体。

(5)将点云特征向量和图像特征图送入attention融合模块进行处理，得到数据对齐后的雷达和图像融合特征图；

首先，建立每个毫米波雷达点特征向量和图像空间像素特征的关系：将点云特征向量矩阵Q_q送入到全连接层，进行特征扩展后和图像特征矩阵E的每个通道进行点乘，得到矩阵C。

利用毫米波雷达点特征向量确定视觉图像的重点检测区域：将点云特征向量送入到全连接层和sigmoid层，预测每个点云特征向量对应的目标物体中心位置和尺寸大小。利用预测值，生成高斯分布矩阵S，为目标物体提供空间先验。

将矩阵C和矩阵S进行元素级相加，增强雷达点特征向量和图像空间像素特征的联系，得到矩阵M。将矩阵M进行行相加后送入sigmoid层，建立所有点云对图像空间某点像素特征的累积影响，得到新的矩阵M′。

通过将矩阵M′和图像矩阵E先进行通道级别的点乘，再进行元素级相加得到融合后的雷达图像特征图。

(6)将图像融合特征图送入RetinaNet目标检测子网络进行处理，获得图像中目标的定位和分类结果；

(7)对步骤(6)中获得的所有目标识别框进行非极大值抑制处理，获得最终目标定位框和每个框的识别结果。

实施例

结合上述步骤，以自动驾驶应用场景为例，本实施例包括如下的基础过程：

首先下载nuScenes数据集，读取数据集中前向摄像头的关键帧视觉图像和与当前图像关键帧时序最近的3帧毫米波雷达点云数据，包括前向毫米波雷达数据、左前方毫米波雷达数据以及右前方毫米波雷达数据。

对下载好的图像和点云数据集进行基于正负样本数目的优化划分得到训练集、验证集和测试集。

将视觉图像从800*1600缩放到448*800大小，并将图像像素范围由0-255归一化到0-1之间后送入到DLA-34网络结构中，生成图像特征图。

将毫米波雷达3D点云数据转化到与视觉图像一致的2D垂直平面。根据毫米波雷达点三个状态属性invalid-state，dynprop-state以及ambig-state的三个状态属性筛选和过滤掉无效雷达点。接下来将点云数据和图像数据配准。首先，将毫米波雷达坐标系下的坐标转换到自车坐标系，自车坐标系下的坐标转换到世界坐标系，世界坐标系下的坐标转换到自车坐标系，自车坐标系下的坐标转换到图像坐标系中，最后，将图像坐标系中的坐标转换到图像像素坐标系中。

得到毫米波点云在图像像素坐标系上的坐标后，接下来进一步求得毫米波点云在图像特征图上的坐标。毫米波雷达探测区域较大，先除去超过视觉图像大小的雷达点，若雷达点存在重合情况，则用距离近的覆盖距离远的雷达点；最后，根据缩放后的视觉图像到DLA-34最后一个特征图间的下采样系数4，将毫米波雷达点坐标(u,v)缩小4*4倍，变为(u/16,v/16)。

由上述步骤已得毫米波点在图像特征图的位置以及最大目标数为200。创建大小为200*5的点云特征向量，将毫米波雷达点的属性x,y,z,vx,vy作为初始特征值。

将点云特征向量矩阵Q_q送入到全连接层，进行特征扩展后和图像特征矩阵E的每个通道进行点乘，得到矩阵C。

将点云特征向量送入到全连接层和sigmoid层，预测每个点云特征向量对应的目标物体中心位置和尺寸大小。利用预测值，生成高斯分布矩阵S，为目标物体提供空间先验。

将矩阵C和矩阵S进行元素级相加，得到矩阵M。将矩阵M进行行相加后送入sigmoid层，得到新的矩阵M′。

通过将矩阵M′和图像矩阵E先进行通道级别的点乘，再进行元素级相加得到融合后的雷达图像特征图。

最后，将上述步骤中获得的图像融合特征图送入目标检测子网络RetinaNet进行进一步特征提取，获得目标物体的预测框位置和类别置信度。

在训练的过程中，将上述获得的目标物体预测框和真实标注框进行交并比计算，只保留与真实标注框交并比大于0.5且置信度大于0.3的预测框。通过不断优化这些预测框和真实标注框的分类损失和回归损失来实现更为准确的目标定位和分类。

在预测过程中，载入训练好的模型权重，将得到的预测框进行非极大值抑制后得到最终预测结果。

Claims (6)

1.一种基于相机和毫米波雷达数据的自动对齐方法，其特征在于，所述方法包括如下步骤：

(1)针对同一个视觉场景，通过毫米波雷达扫描获得毫米波点云数据，且相机获取视觉图像信息；

(2)对步骤(1)获得的图像信息进行预处理，基于DLA-34网络结构进行处理，得到图像特征图；

(3)将步骤(1)得到的毫米波雷达点云映射到步骤(2)中的图像特征图中，得到每个毫米波雷达点云在图像特征图中的位置；

(4)设定最大目标数，且根据图像特征图中位置对应的雷达点的属性值，计算点云特征向量；

(5)将点云特征向量和图像特征图送入attention融合模块进行处理，得到数据对齐后的雷达和图像融合特征图；

(6)将图像融合特征图送入RetinaNet目标检测子网络进行处理，获得图像中目标的定位和分类结果；

(7)对步骤(6)中获得的所有目标识别框进行非极大值抑制处理，获得最终目标定位框和每个框的识别结果。

2.根据权利要求1所述的基于相机和毫米波雷达数据的自动对齐方法，其特征在于，步骤(1)考虑到毫米波雷达点云的稀疏性，应用若干个毫米波雷达点云数据和单个摄像机的图像数据，并且融合和当前图像帧时序最近的多帧点云数据。

3.根据权利要求1所述的基于相机和毫米波雷达数据的自动对齐方法，其特征在于，步骤(3)对于毫米波雷达点云映射过程如下：

(3.1)根据毫米波雷达点的状态属性值筛选和过滤掉无效雷达点；

(3.2)将有效的雷达点检测得到的横纵向距离通过投影变换转换到对应的视觉传感器所在的图像坐标系中转换为图像像素坐标系，在同一坐标系下实现毫米波雷达和视觉传感器在时间和空间的统一，如果投影到图像像素坐标系上的雷达点存在重合情况，则采用“近留远舍”的规则，距离近的覆盖距离远的雷达点；

其中，坐标转换通过标定矩阵完成，标定矩阵公式如下：

其中，[X_w，Y_w，Z_w，1]是毫米波雷达点在世界坐标系中的坐标，[X_c，Y_c，Z_c，1]是像素坐标系中的坐标，[u，v]是图像像素坐标系中的坐标；

图像到DLA-34最后一个特征图间的下采样系数为d，毫米波雷达点云P(u，v)在特征图中的坐标为P′(u′，v′)，其中(u′，v′)＝(u/d，v/d)。

4.根据权利要求1所述的基于相机和毫米波雷达数据的自动对齐方法，其特征在于，步骤(4)设定最大目标数的步骤如下：

图像的尺寸为h，w，图像到DLA-34最后一个特征图间的下采样系数为d，该特征图的尺寸为h′＝h/d，w′＝w/d，通道数为c1；特征图最多可检测出w′个目标物体，因此最大目标数可设定为N＝w′。

5.根据权利要求1所述的基于相机和毫米波雷达数据的自动对齐方法，其特征在于，步骤(4)中点云特征向量的计算步骤包括创建大小为N×c2的点云特征向量，然后从每个位置的雷达点的属性中选择c2个属性值，作为该点云特征向量u处的初始特征值，其中：N为最大目标数，c2为毫米波雷达点云数据属性值个数。

6.根据权利要求1所述的基于相机和毫米波雷达数据的自动对齐方法，其特征在于，步骤(6)中图像融合特征图包括如下过程：

(6.1)获取步骤(2)中的图像特征图E∈R^L×C1，步骤(4)中的点云特征向量Q_q∈R^N×C2，其中L为图像特征图的空间特征数，即(h′×w′)；

(6.2)预测每个点云特征向量对应的目标物体的中心点位置(c_h′，c_w′)和尺寸大小(s_h′，s_w′)，计算过程如下：

c_h′，c_w′＝sigmoid(FC(Q_q))

s_h′，s_w′＝FC(Q_q)

并使用预测值生成目标物体的二维高斯分布G(i，j)，其中，β表示调节高斯分布的带宽，表达式如下：

(6.3)给定点云特征向量Q_q∈R^N×c2和图像特征图E∈R^L×c1，计算点云特征向量和图像特征的共同注意力C的权重C_weight∈R^N×L，计算过程如下：

K＝E

Q＝FC(Q_q)

点云特征向量由毫米波雷达点初始化，可以为预测目标物体提供空间先验，获取步骤(6.2)的高斯分布权重G∈R^N×L，修正后的C_weight∈R^N×L为：

C_weight对图像空间像素特征i和点云特征向量j进行了关系建模和表达，通过对C_weight执行行相加和sigmoid操作，建立所有点云对图像空间某点像素特征的累积影响，计算表达式如下：

(6.4)将步骤(6.3)得到的权重矩阵C_weight∈R^1×L和图像特征图E∈R^L×c1通过下列计算公式得到数据对齐后的图像融合特征图FE∈R^L×c1，计算表达式如下：

V＝E

其中，

表示元素级乘每个通道，

表示元素级相加。

Images