CN114818916B - 一种基于毫米波雷达多帧点云序列的道路目标分类方法 - Google Patents

Abstract

本发明属于交通道路目标分类领域，具体涉及一种基于毫米波雷达多帧点云序列的道路目标分类方法。本发明使用毫米波雷达对目标进行一定时长的跟踪，获取到目标在时间序列上的多帧点云数据；从每帧点云数据中提取特征，构建特征向量序列；构建多帧点云序列特征融合网络实现点云时序特征提取；使用多层感知机实现对目标所属类别的判断。本发明方法获得的基于毫米波雷达的道路目标分类器有着比传统方法更高的分类准确率，对于提升自动驾驶与辅助驾驶系统的环境感知能力具有重要意义。

Description

一种基于毫米波雷达多帧点云序列的道路目标分类方法

技术领域

本发明属于交通道路目标分类领域，具体涉及一种基于毫米波雷达多帧点云序列的道路目标分类方法。

背景技术

在当今复杂的交通道路环境中，自动驾驶与辅助驾驶系统成为保障司乘安全、提升驾驶舒适性的一项重要技术。作为辅助驾驶系统中的核心传感设备之一，毫米波雷达在目标探测方面具备全天候高可靠的特点，在暗光环境与复杂气候环境中依旧可以保持稳定的工作状态。使用毫米波雷达实现对道路目标的分类识别，可有助于辅助驾驶系统的决策单元充分感知行车环境，从而得出有效的辅助驾驶策略。

随着毫米波雷达距离分辨率与角度分辨率的提升，有研究者提出使用雷达点云数据实现目标分类，但目前此类方法大多基于对目标单次探测产生的点云得出分类结果(例如专利 CN201910640745.7)，在实际的道路目标分类任务中，该方法的分类效果容易受到异常探测结果的影响；也有研究者提出了在决策层面实现多帧点云联合分类的方法(例如专利CN202111466169.2)，但是对每帧分类结果的简单联合并不能有效利用点云在时间序列上的关联特性，因而得到的分类准确率仍旧有待提升。

发明内容

本发明针对现有技术的不足，提出了一种使用毫米波雷达多帧点云序列进行道路目标识别的方法，以实现在交通道路场景下对目标的精准识别。本发明使用毫米波雷达对目标进行一定时长的跟踪，获取到目标在时间序列上的多帧点云数据；从每帧点云数据中提取特征，构建特征向量序列；构建多帧点云序列特征融合网络实现点云时序特征提取；使用多层感知机实现对目标所属类别的判断。具体技术方案如下：

S1：目标回波数据获取。在交通道路场景下，使用毫米波雷达对目标进行一定时长的跟踪，以获取指定帧数的目标回波数据D＝{D_i∣i＝1,2,…,t}。其中，D_i表示获取到的第 i帧目标回波数据，t表示设定的总帧数。

S2：目标点云数据获取。对获取到的每帧点云数据，先后执行距离维傅里叶变换、速度维傅里叶变换、恒虚警检测、多普勒相位补偿、角度维傅里叶变换，最终获取到该帧对应的目标点云数据P＝{P_i∣i＝1,2,…,N}。其中P_i表示道路目标内部的第i个散射点形成的雷达目标点，N表示点云中目标点的总数。对于每个目标点，包括距离、方位角、速度、雷达截面积(RCS)四种属性，表示为P_i＝(r_i,θ_i,v_i,σ_i)；通过如下坐标转换公式将其转换至笛卡尔坐标系，得到

S3：点云特征向量序列获取。对于每帧点云数据，提取14个统计特征，构建特征向量 F_i＝{f_i1,f_i2,......,f_i14}。基于S2中获取到的t帧目标点云数据，共计可以获取到时间序列上的t 个特征向量，组成特征向量序列F＝{F_i∣i＝1,…,t}。基于每帧点云提取的14个特征具体包括：

(1)特征1：点云所包含的目标点数目N；

(2)特征2：目标点径向距离的平均值计算公式如下；

其中，r_i表示第i个目标点的径向距离值。

(3)特征3：点云在X轴上的极差X_Range，计算公式如下；

X_Range＝X_max-X_min                        (3)

其中，X_max和X_min分别表示点云所包含的目标点在X轴坐标上的最大值与最小值。

(4)特征4：点云在Y轴上的极差Y_Range，计算公式如下；

Y_Range＝Y_max-Y_min                        (4)

其中，Y_max和Y_min分别表示点云所包含的目标点在Y轴坐标上的最大值与最小值。

(5)特征5：目标点云矩形框的面积S，计算公式如下；

S＝X_Range×Y_Range                         (5)

(6)特征6：点云所包含的目标点在X轴上的方差σ_X，计算公式如下；

其中，X_i表示第i个目标点在X轴坐标上的值，表示所有目标点在X轴坐标上值的平均数。

(7)特征7：点云所包含的目标点在Y轴上的方差σ_Y，计算公式如下；

其中，Y_i表示第i个目标点在Y轴坐标上的值，表示所有目标点在Y轴坐标上值的平均数。

(8)特征8：点云密度ρ，计算公式如下；

(9)特征9：点云中各目标点的RCS均值计算公式如下；

其中，σ_i表示第i个目标点的RCS值。

(10)特征10：点云中各目标点速度的平均值计算公式如下；

其中，v_i表示第i个目标点的速度值。

(11)特征11：目标点速度的极差v_Range，计算公式如下；

v_Range＝v_max-v_min                       (11)

其中，v_max和v_min分别表示点云所包含目标点的最大速度值与最小速度值。

(12)特征12：目标点速度的方差σ_v，计算公式如下；

其中，v_i表示第i个目标点的速度值，表示所有目标点速度值的平均数。

除了上述12个常见统计特征外，本文还特别选取了“特征13”和“特征14”用于表征目标点云在两个主成分方向上的离散程度，它们与点云的自身分布特点相关，受到目标相对于雷达的姿态角的影响较小。“特征13”和“特征14”具体内容为：

(13)特征13：点云坐标的X序列和Y序列的协方差矩阵的第一个特征值，记作λ₁；

(14)特征14：点云坐标的X序列和Y序列的协方差矩阵的第二个特征值，记作λ₂。

上述两个特征的计算公式如下：

计算协方差：

Cov(X,Y)＝E{[X-E(X)][Y-E(Y)]}               (13)

其中，X和Y分别表示点云所包含目标点在X轴上的坐标序列与在Y轴上的坐标序列， E(·)表示计算数学期望。

计算协方差矩阵：

特征13与特征14中的λ₁与λ₂即为如下关于λ的方程的解，其中E表示单位矩阵。

|C-λE|＝0                         (15)

S4：道路目标分类模型训练。该模型主要包括两个部分：基于LSTM实现的时间关联特性提取网络；基于多层感知机实现的目标类别判断网络。对于时间关联特性提取网络，它的输入是由时间上连续的多帧点云特征向量组成的特征向量序列，输出是融合了时间关联信息的特征向量；对于目标类别判断网络，它的输入是通过时间关联特性提取网络获得的特征向量，输出是待识别样本所属类别的概率向量，选取概率最大的类别作为分类结果。需要预先采集大量的常见道路目标样本数据，使用S1-S3中所述的方法提取特征向量以及构建特征向量序列，并且使用标签标注每帧点云特征向量对应的目标类别，从而构建数据集。使用数据集训练道路目标分类模型，保存能够使模型达到最优效果的结构参数。

S5：目标类别判断。首先获取待识别目标的多帧点云数据，使用S1-S3所述方法获取特征向量序列，将其作为S4中训练所得的分类模型的输入，通过该模型即可获取待识别目标类别的分类结果。

本发明的有益效果在于：首先，使用毫米波雷达对目标进行一定时长的跟踪，获取到目标在时间序列上的多帧点云数据；接着，从每帧点云数据中提取特征，构建特征向量序列；然后，构建了包含LSTM层结构的网络模型，实现从连续的多帧点云数据中挖掘目标特征的时间关联特性；最后，使用多层感知机实现对目标所属类别的判断。一方面，所提出的基于目标点云的特征提取方法可以获取到准确体现各类道路目标差异的特征向量序列；另一方面，通过融合时间序列上的多帧点云数据，可以进一步提取到点云的时序信息，提高分类的准确率。由此获得的基于毫米波雷达的道路目标分类器有着比传统方法更高的分类准确率，对于提升自动驾驶与辅助驾驶系统的环境感知能力具有重要意义。

附图说明

图1为本发明的流程图；

图2为实施例中的数据采集设备图；

图3为实施例中的数据采集场景环境图；

图4为实施例中获取到的毫米波雷达点云数据示例图；

图5为实施例中构建的道路目标分类模型结构图；

图6为实施例中对典型道路目标进行分类得到的混淆矩阵结果图。

具体实施方式

使用上述方法进行道路目标识别的一个实施例如下：

S1：目标回波数据获取

使用毫米波雷达设备采集道路目标的回波数据，本实施例使用的毫米波雷达设备为四片AWR2243级联雷达，使用的发射波形为线性调频连续波，雷达带宽设置为2.5GHz，由此可以提供约6cm的距离分辨率。每个AWR2243雷达芯片具有3个发射通道与4个接收通道，使用四片级联方式可以获取12发16收的效果，由此可以提供约1.4°的方位角分辨率。探测的道路目标包括四类：行人、非机动车(电动车、电动自行车车)、中小型机动车(家用轿车)、大型机动车(大货车、大巴车)。本实施例中获取目标回波数据的场景包括：“空旷广场”、“直行道路”以及“十字路口”三个场景，如说明书附图3所示。通过该步骤，每帧均可获取到尺寸为“采样点数*脉冲数*接收通道数”的目标回波差频信号。

S2：目标点云数据获取

对于接收到的目标回波数据，首先沿着距离维执行傅里叶变换，再沿着多普勒维执行傅里叶变换，执行该步骤可以得到“距离-多普勒”矩阵；接着在该矩阵上执行恒虚警检测，具体方法是：首先沿着多普勒维使用单元平均恒虚警检测算法执行检测，对于检测所得结果，再执行距离维上的单元平均恒虚警检测，执行该步骤可以检测出不同距离和不同速度的目标点，实现对目标测距与测速的功能；接着执行方位角测量，具体实施方法是：对于恒虚警检测得到的每个“距离-多普勒”单元格，取出其在各接收通道上的信号值，执行空间维度的傅里叶变换，即可得到各目标点方位角的值；最后，结合各目标点距离与方位角的值，计算其在笛卡尔坐标系上的坐标，则每个点可以表示为(x,y,v,σ)。其中，x和y表示坐标值、v表示速度值、σ表示RCS值。对于某个待识别目标，第i帧获取的目标点云数据D_i如式(16)所示。

S3：点云特征向量序列获取

使用上述方法共计获取到12000帧点云样本数据，目标类别包括行人、非机动车、中小型机动车以及大型机动车四类，每类目标对应着3000帧点云数据。每一组数据是一个N行4 列的数据矩阵，其中，N表示点云中包含的目标点数目，4列分别对应着目标点的X坐标、Y坐标、速度值、RCS值。对于每个目标的点云数据，将其在时间上连续的9帧数据划分为一组，构成点云序列。对于每一帧点云数据，提取上文所述的14个特征构成特征向量。同时，依照特征向量所属目标类别为其加上标签，标签值为1、2、3、4，分别对应着行人、非机动车、中小型机动车、大型机动车目标。由此可以获取到道路目标点云特征数据集。

S4：道路目标分类模型训练

使用获取的数据集训练道路目标分类模型，以获取到最佳的模型参数。道路目标分类模型主要包括两个部分：基于LSTM实现的时间关联特性提取网络；基于多层感知机实现的目标类别判断网络。在本实施例中，网络模型的搭建是使用Keras深度学习框架实现的，所搭建的道路目标分类模型结构如说明书附图5所示。对于时间关联特性提取网络，它由单个 LSTM层构成，神经元节点数目是20个，激活函数使用默认的tanh函数，它的输入是由时间上连续的9帧点云特征向量组成的特征向量序列F＝{F₁,F₂,F₃,...,F₉}，输出是融合了时间关联信息的长度为20的特征向量；对于目标类别判断网络，它由两个全连接层构成，神经元节点数目分别为32和4，激活函数分别为ReLU和SoftMax函数，损失函数使用交叉熵函数(Cross Entropy)，它的输入是通过时间关联特性提取网络获得的特征向量，输出是待识别样本所属类别的概率向量，选取概率最大的类别作为分类结果。

S5：目标类别判断

该步骤中，使用S4中训练得到的分类模型实现对行人、非机动车、中小型机动车、大型机动车四类典型道路目标的分类。在工作过程中，首先需要按照S1-S2中所述方法获取到待识别目标在时间上连续的9帧点云数据D＝{D₁,D₂,D₃,...,D₉}，再使用S3中所述方法获取到如式(17)所示的点云特征向量序列F，其中，f_ij表示从第i帧点云中获取的特征向量中的第j 个特征，F即为道路目标分类模型的输入数据。

通过多次实验测试该分类模型对于上述四类道路目标的分类效果，分类整体准确率可以达到约92.5％，结果如说明书附图6所示。由此可以看出，本发明所提出的基于毫米波雷达点云序列的道路目标分类方法能够有效满足在交通道路场景下对常见目标进行精细化识别的需求，对于提升自动驾驶与辅助驾驶系统的环境感知能力具有重要意义。

Claims (1)

1.一种基于毫米波雷达点云序列的道路目标分类方法，其特征在于，包括以下步骤：

S1、目标回波数据获取：在交通道路场景下，使用毫米波雷达对目标进行跟踪，以获取指定帧数的目标回波数据D＝{D_i∣i＝1,2,…,t}，其中，D_i表示获取到的第i帧目标回波数据，t表示设定的总帧数；

S2、目标点云数据获取：对获取到的每帧点云数据，先后执行距离维傅里叶变换、速度维傅里叶变换、恒虚警检测、多普勒相位补偿、角度维傅里叶变换，最终获取到该帧对应的目标点云数据P＝{P_i∣i＝1,2,…,N}；其中P_i表示道路目标内部的第i个散射点形成的雷达目标点，N表示点云中目标点的总数；对于每个目标点，包括距离、方位角、速度、雷达截面积四种属性，表示为P_i＝(r_i,θ_i,v_i,σ_i)；通过如下坐标转换公式将其转换至笛卡尔坐标系，得到

x＝rcosθ

y＝rsinθ

S3、点云特征向量序列获取：对于每帧点云数据，提取14个统计特征，构建特征向量F_i＝{f_i1,f_i2,......,f_i14}，基于S2中获取到的t帧目标点云数据，共计可以获取到时间序列上的t个特征向量，组成特征向量序列F＝{F_i∣i＝1,…,t}；基于每帧点云提取的14个特征具体包括：

(1)特征1：点云所包含的目标点数目N；

(2)特征2：目标点径向距离的平均值

计算公式如下：

其中，r_i表示第i个目标点的径向距离值；

(3)特征3：点云在X轴上的极差X_Range，计算公式如下：

X_Range＝X_max-X_min

其中，X_max和X_min分别表示点云所包含的目标点在X轴坐标上的最大值与最小值；

(4)特征4：点云在Y轴上的极差Y_Range，计算公式如下：

Y_Range＝Y_max-Y_min

其中，Y_max和Y_min分别表示点云所包含的目标点在Y轴坐标上的最大值与最小值；

(5)特征5：目标点云矩形框的面积S，计算公式如下：

S＝X_Range×Y_Range

(6)特征6：点云所包含的目标点在X轴上的方差σ_X，计算公式如下：

其中，X_i表示第i个目标点在X轴坐标上的值，

表示所有目标点在X轴坐标上值的平均数；

(7)特征7：点云所包含的目标点在Y轴上的方差σ_Y，计算公式如下：

其中，Y_i表示第i个目标点在Y轴坐标上的值，

表示所有目标点在Y轴坐标上值的平均数；

(8)特征8：点云密度ρ，计算公式如下：

(9)特征9：点云中各目标点的RCS均值

计算公式如下：

其中，σ_i表示第i个目标点的RCS值；

(10)特征10：点云中各目标点速度的平均值

计算公式如下：

其中，v_i表示第i个目标点的速度值；

(11)特征11：目标点速度的极差v_Range，计算公式如下：

v_Range＝v_max-v_min

其中，v_max和v_min分别表示点云所包含目标点的最大速度值与最小速度值；

(12)特征12：目标点速度的方差σ_v，计算公式如下：

其中，v_i表示第i个目标点的速度值，

表示所有目标点速度值的平均数；

(13)特征13：点云坐标的X序列和Y序列的协方差矩阵的第一个特征值，记作λ₁；

(14)特征14：点云坐标的X序列和Y序列的协方差矩阵的第二个特征值，记作λ₂；

特征13与特征14的获取方法为：

计算协方差：

Cov(X,Y)＝E{[X-E(X)][Y-E(Y)]}

其中，X和Y分别表示点云所包含目标点在X轴上的坐标序列与在Y轴上的坐标序列，E(·)表示计算数学期望；

计算协方差矩阵：

特征13与特征14中的λ₁与λ₂即为如下关于λ的方程的解，其中E表示单位矩阵：

|C-λE|＝0

S4、道路目标分类模型训练：

模型包括两个部分：基于LSTM实现的时间关联特性提取网络和基于多层感知机实现的目标类别判断网络；

对于时间关联特性提取网络，输入是由时间上连续的多帧点云特征向量组成的特征向量序列，输出是融合了时间关联信息的特征向量；

对于目标类别判断网络，输入是通过时间关联特性提取网络获得的特征向量，输出是待识别样本所属类别的概率向量，选取概率最大的类别作为分类结果；

通过预先采集道路目标样本数据，使用S1-S3中所述的方法提取特征向量以及构建特征向量序列，并且使用标签标注每帧点云特征向量对应的目标类别，从而构建数据集；使用数据集训练道路目标分类模型，保存能够使模型达到最优效果的结构参数；

S5、目标类别判断：首先获取待识别目标的多帧点云数据，使用S1-S3所述方法获取特征向量序列，将其作为S4中训练所得的分类模型的输入，输出即为待识别目标类别的分类结果。

Images