CN110378191B - 基于毫米波传感器的行人和车辆分类方法 - Google Patents

Abstract

本发明公开了一种基于毫米波传感器的行人和车辆分类方法，包括：根据行人的步态分析和车辆的运动分析获取行人和车辆目标的时域回波信号；目标时域回波信号处理，获得距离‑多普勒图；并构建距离‑多普勒图样本集；将样本集分成训练样本集和测试样本集，对训练样本集中的数据进行预处理；构建级联神经网络分类器，并将距离‑多普勒图作为训练数据输入到级联神经网络分类器中，进行有监督的学习，训练和学习出各级分类器的网络参数；基于训练的各级网络参数，获得具有行人和车辆分类功能的级联神经网络分类器。本发明通过构建级联神经网络分类器，有效降低了实际应用中行人和车辆样本不平衡对目标分类的影响，提高目标分类准确率。

Description

基于毫米波传感器的行人和车辆分类方法

技术领域

本发明涉及一种基于毫米波传感器的行人和车辆分类方法，具体涉及一种基于级联分类器的毫米波传感器行人和车辆分类方法。

背景技术

近年来，随着市场对汽车主动安全和智能化需求的不断提高，无人驾驶巨大的社会和经济价值越发凸显，越来越多的企业与科研机构积极参与并推动无人驾驶领域的发展。由于汽车行业对于行人的安全保障有着极高的要求，所以行人和车辆分类逐渐成为无人驾驶中一项关键技术。在自动驾驶领域，无人驾驶车辆必须具备通过车载传感器识别行人和车辆及其所在位置的能力，以实现进一步的决策。一旦检测错误则会造成伤亡，后果严重，所以对于行人和车辆识别的准确性要求极高。因此行人和车辆分类是一个极富挑战性的研究课题。

传统的行人和车辆识别主要基于视觉传感器。就目前技术来说，视觉虽然可以提供丰富的图像信息，但是室外场景中的光照变化、遮挡、阴影等影响，导致视觉算法在复杂交通环境中鲁棒性较低。雷达也可被用来识别行人和车辆，与光学应用不同，雷达的使用不受光照条件限制。另外，雷达传感器可以嵌入到车辆内部，因此对设备的维护更容易，操作更稳定，避免了按钮故障的可能性。

毫米波雷达作为无人驾驶中的重要传感器之一，已经被用于行人和车辆识别。当目标具有刚体或者非刚体运动时，生成距离-多普勒特征，这些距离-多普勒特征可被用来分类不同的运动目标。使用毫米波传感器获取行人和车辆的距离-多普勒特征，其特点是不受光照条件限制，并且可以简单又低成本的获取速度信息。

而目前毫米波雷达作为无人驾驶中的重要传感器，存下一下问题：一方面，来自不同位置，不同运动方向的行人和车辆的距离-多普勒图差异很小；另一方面，由于车载毫米波传感器观测数据中车辆数据远多于行人数据，因而造成了观测数据中行人和车辆样本分布的不平衡性。这些特点都对传统的基于特征提取方法的分类器提出了巨大的挑战。

发明内容

发明目的：为了克服现有技术的不足，本发明提供一种基于毫米波传感器的行人和车辆分类方法。

技术方案：一种基于毫米波传感器的行人和车辆分类方法，该方法包括以下步骤：

(1)根据行人的步态分析和车辆的运动分析进行信号回波建模，获取行人和车辆目标的时域回波信号；

(2)目标时域回波信号处理，获得距离-多普勒图；并构建距离-多普勒图训练样本集和测试样本集；

(3)对上述训练样本集中的数据进行预处理；

(4)构建级联神经网络分类器，并将距离-多普勒图作为训练数据输入到构建的级联神经网络分类器中，进行有监督的学习，获得各级分类器的网络参数；

(5)基于训练的各级网络参数，对构建的神经网络进行配置，获得具有行人和车辆分类功能的级联神经网络分类器，利用测试样本集的数据对该级联神经网络分类器性能进行评估。

进一步的，步骤(3)中，所述数据预处理包括以下步骤：

(21)对步骤2所述的训练样本集进行恒虚警检测，降低噪声影响。

(22)对步骤2所述训练样本集进行数据增强，具体为对所述距离-多普勒图的翻转；

(23)将步骤2所述训练样本集和测试样本集中的每张距离-多普勒图进行线性插值；

(24)对距离-多普勒图中每个像素位置上的每个颜色通道，计算所述训练样本在该通道上的平均值；

(25)将步骤(22)所述训练样本集和测试样本集中的每个像素点上每个通道的灰度值减去其对应位置对应通道的平均值。

进一步的，步骤(4)中，所述级联神经网络分类器是由两个卷积神经网络级联而成。

进一步的，所述卷积神经网络包括三个带有修正线性单元的卷积层、三个下采样层、一个带有修正线性单元的全连接层和一个带有softmax分类器的全连接器。

进一步的，对所述卷积神经网络，分别设置其卷积层滤波器的大小、步长和个数；所述下采样层滤波器为最大值滤波器，设置其大小和步长；所述全连接层为dropout层，所述softmax分类器分别输出行人和车辆的分类概率。

进一步的，步骤(4)中，所述各级网络中各层参数的设置包括：

(61)设置训练卷积神经网络的相关参数，包括每次送入各级卷积神经网络的样本数量、测试间隔、优化方法选择、学习速率、梯度更新的权重；

(62)将带有标签的训练数据集分批次送入级联神经网络分类器的各级网络，前向传播计算损失值，后向传播计算每层的梯度，根据选择的优化方法进行网络参数更新；

(63)记录并保存每次训练和测试的学习率、快照，以及对应的状态，直到测试样本的正确率达到设定阈值后，保存网络参数，并结束第一级网络训练；

(64)将第一级网络中分类错误的样本以及行人样本作为第二级卷积神经网路的输入，训练方法与第一级神经网络相同；直到测试集的正确率在某一范围内小幅度上下波动或者训练达到最大迭代次数。

有益效果：本发明与现有技术相比，具备以下优点：

1、本发明通过构建级联神经网络分类器，有效降低了毫米波传感器实际应用场景中行人和车辆样本不平衡对目标分类的影响，同时避免了人工特征提取，使分类器能够自主学习行人和车辆目标的深层次特征，具有较强的泛化能力，提高了目标分类准确率；

2、通过分类器的级联技术使得各级可利用较简单网络结构实现复杂网络结构，降低了网络结构的复杂度、提高了分类器的训练速度。

附图说明

图1为本发明方法的流程图；

图2为行人步态周期图；

图3为车辆的运动场景图；

图4为本发明方法的卷积神经网络结构图；

图5为本发明所述行人和车辆的距离-多普勒图；

图6为单级卷积神经网络结构图；

图7为本发明方法与单级卷积神经网络在不同迭代次数下准确率对比。

具体实施方式

下面结合附图对本发明的技术方案作进一步说明。

实施例1

如图1所示，该方法包括如下步骤：

步骤1、在毫米波传感器系统中，根据行人的步态分析和车辆的运动分析进行信号回波建模，获取行人和车辆目标的时域回波信号。

(1.1)如图2所示，根据行人的步态分析可知，毫米波传感器所接收到的信号主要由躯干和四肢所反射的回波信号组成；由于手臂的雷达截面积相对较小，所以在行人仿真中忽略其影响。为了描述躯干和下肢的运动，将其近似建模为叠加在重心上的变速运动，且速度在其运动方向上呈余弦振荡。躯干和下肢的瞬时速度和/>定义如下：

其中，L为步长，f_s则为步频，v_％表示幅度因子。由于躯干和下肢余弦振荡的幅度和频率不同，所以分别假设躯干的振荡频率与步频相同，而下肢的振荡频率则为步频的一半。同时躯干的振荡幅度则在下肢振荡幅度的10％到20％之间。行人与雷达之间的距离r(t)定义如下：

其中，表示行人运动的平均速度，/>表示行人各部分运动的瞬时速度，v(t)表示行人运动的速度，r₀表示行人与雷达之间的起始距离。

(1.2)如图3，对回波信号仿真时，考虑车辆的两种典型运动状态：横向运动和纵向运动。在仿真过程中，将车辆的雷达截面积近似为矩形，以获取雷达的回波信号。

步骤2、目标时域回波信号处理，获得距离-多普勒图；并构建距离-多普勒图训练样本集和测试样本集。

(2.1)毫米波传感器周期发送chirp信号，对回波信号进行Deramp混频处理后获得中频IF信号。对IF信号进行采样。优选的，对IF信号采样256个点，并将128个IF信号按列存储，形成256*128大小的帧信号。

(2.2)将帧信号通过二维傅里叶变换获得一帧距离-多普勒图，可表示为：

其中，f(n,l)为帧信号，w(n)为高斯窗函数，N＝256为IF信号的采样点数，L＝128为多普勒维的Chirp点数。F(k,p)为距离-多普勒图，k∈1,…,N，p∈1,…,L。

(2.3)由于毫米波传感器连续发射chirp信号，通过上述方式可以获得的距离-多普勒图样本集。优选的，将行人和车辆的所有样本的80％设为训练样本，20％设为测试样本。

步骤3、对上述训练样本集中的数据进行预处理。

(3.1)对训练样本集进行恒虚警检测，降低噪声影响；

(3.2)对训练样本集进行数据增强，主要包括对距离-多普勒图进行翻转；

(3.3)利用Tensorflow框架中的image包，对每张距离-多普勒图进行线性插值，实现距离-多普勒图的缩放，使得所有图像具有相同尺寸；

(3.4)使用Tensorflow框架计算全体样本集各像素点的均值；对每个像素点位置的每个通道，计算所有训练样本集在该处该通道上的灰度平均值；

(3.5)对于所有的训练样本集和测试样本集中的距离-多普勒图，将每个像素点上每个通道的灰度值减去其对应位置对应通道的平均值。

步骤4、构建级联神经网络分类器；具体步骤为：

所述级联神经网络分类器主要由两个卷积神经网络级联而成，并且各级网络结构相同。

卷积神经网络结构如图4所示；卷积神经网络包括三个带有修正线性单元的卷积层、三个下采样层、一个带有修正线性单元的全连接层和一个带有softmax分类器的全连接层，其中：

优选的，卷积神经网络网络结构设置如下：第一个卷积层滤波器的大小为3*3像素，步长为1个像素，滤波器的个数为16个，第一个下采样层滤波器采用最大值滤波器，大小为2*2像素，步长为2个像素；第二层卷积层滤波器的大小为3*3像素，步长为1个像素，滤波器个数为32个，第二下采样层滤波器采用最大值滤波器，大小为2*2像素，步长为2个像素；第三卷积层滤波器的大小为3*3像素，步长为1个像素，滤波器个数为64个，第三下采样层滤波器采用最大值滤波器，大小为2*2像素，步长为2个像素；第一个全连接层有1024个神经元，使用dropout层防止过拟合；softmax分类器输出行人和车辆的分类概率。

步骤5、将距离-多普勒图作为训练数据输入到构建的级联神经网络分类器中，进行有监督的学习，获得各级分类器的网络参数；具体步骤为：

(5.1)设置第一级卷积神经网络的相关参数，包括每次送入卷积神经网络的样本数量、测试间隔、优化方法选择和学习速率、梯度更新的权重等；

(5.2)将带有标签的训练数据集分批次送入卷积神经网络，前向传播计算损失值，后向传播计算每层的梯度，根据选择的优化方法进行网络参数更新；

(5.3)记录并保存每次训练和测试的学习率、快照，以及对应的状态，直到测试集的准确率达到某一阈值后，保存网络参数，并结束第一级网络训练；

(5.4)将第一级网络中分类错误的样本以及行人样本作为第二级卷积神经网路的输入，训练方法与第一级神经网络相同。直到测试集的准确率上升至基本稳定，或者训练达到最大迭代次数。

步骤6、基于训练的各级网络参数，对构建的神经网络进行配置，获得具有行人和车辆分类功能的级联神经网络分类器，利用测试样本集的数据对该级联神经网络分类器性能进行评估。

实施例2

本发明中，行人的起始位置位于雷达正前方。通过仿真产生40个行人的回波信号，对该数据进行处理并从每个仿真数据中等间隔抽取5张距离-多普勒图，总计200张。车辆的起始位置则位于5个不同的位置。通过仿真产生200个车辆的回波信号，对该数据进行相同的处理并最终获得1000张距离-多普勒图。图5显示了行人和车辆的距离-多普勒图。对所获得的图像进行水平翻转，并将原始图像和翻转后的图像共同组成样本集。将样本集按照比例分为训练集和测试集，即训练集一共1920个样本数据，测试集一共480个样本数据。

本实例在Tensorflow框架上搭建级联神经网络分类器并用GPU进行加速训练。利用Tensorflow框架对全体训练样本集进行像素均值计算，数据图像大小为224*224，每个像素点有三个通道，共得到224*224*3个平均值，在训练和测试时，将每个像素点上每个通道的灰度值减去相应的均值，再送入网络。

在第一级网络的损失函数中，将行人错误分类的权重设为0.8，车辆错误分类的权重设为0.2，防止因样本分布不平衡所导致的分类结果均为车辆的情况。当测试集的准确率大于85％时，第一级卷积神经网络训练完成，并保存所训练的网络参数。将第一级网络中，车辆错误分类的样本和行人样本送入第二级卷积神经网络。此时，车辆样本和行人样本的比例相似。直到测试集准确率稳定或达到迭代次数，第二级网络训练完成，并保存所训练的网络参数。

使用高斯分布初始化权重参数，每次迭代送入100张样本数据进行训练。为防止过拟合，第一个全连接层每次更新50％的神经元参数。随机梯度下降法的基础学习速率为0.001，且学习速率随迭代次数增加而减小，每迭代500次，学习速率变为原来的0.1倍。权重更新的权重为0.9；权重衰减项为0.0005。每迭代1次进行一次测试，每迭代10次保存一次训练状态和模型参数。

本发明与复杂的单级卷积神经网络性能比较。如图6，单级卷积神经网络主要包括五个带有修正线性单元的卷积层、三个下采样层、两个带有修正线性单元的全连接层和一个带有softmax分类器的全连接层。单级卷积神经网络中参数总量为10M，而级联神经网络分类器中参数总量为6M。测试结果如图7，单级卷积神经网络在迭代100次之后达到稳定，准确率为93％。级联神经网络分类器在迭代70次之后，达到稳定，且准确率为95％。级联神经网络分类器利用较简单网络结构实现复杂网络结构，降低了网络结构的复杂度，提高了分类器的训练速度。同时，与单级卷积神经网络相比，提高了分类的准确率，实现了行人和车辆的分类。

Claims (5)

1.一种基于毫米波传感器的行人和车辆分类方法，其特征在于：该方法包括以下步骤：

(1)根据行人的步态分析和车辆的运动分析进行信号回波建模，获取行人和车辆目标的时域回波信号；

步骤(1)包括如下内容：

(1.1)将行人的躯干和下肢建模为叠加在重心上的变速运动，速度在其运动方向上呈余弦振荡，躯干的振荡频率与步频相同，下肢的振荡频率则为步频的一半，获取行人的时域回波信号；

(1.2)考虑车辆的两种运动状态，即横向运动和纵向运动，将车辆的雷达截面积近似为矩形，获取车辆的时域回波信号；

(2)目标时域回波信号处理，获得距离-多普勒图；并构建距离-多普勒图训练样本集和测试样本集；

(3)对上述训练样本集中的数据进行预处理；所述数据预处理包括以下步骤：

(21)对步骤2所述的训练样本集进行恒虚警检测；

(22)对步骤2所述训练样本集进行数据增强，具体为对所述距离-多普勒图的翻转；

(23)将步骤2所述训练样本集和测试样本集中的每张距离-多普勒图进行线性插值；

(24)计算训练样本集各像素点的均值；对每个像素点位置的每个通道，计算所有训练样本在该通道上的灰度平均值；

(25)将步骤(22)所述训练样本集和测试样本集中的每个像素点上每个通道的灰度值减去其对应位置对应通道的平均值；

(4)构建级联神经网络分类器，并将距离-多普勒图作为训练数据输入到构建的级联神经网络分类器中，进行有监督的学习，获得各级分类器的网络参数；各级分类器对行人和车辆设置不同的分类权重，其中第一级分类器的行人错误分类权重大于车辆错误分类权重；

(5)基于训练的各级网络参数，对构建的神经网络进行配置，获得具有行人和车辆分类功能的级联神经网络分类器，利用测试样本集的数据对该级联神经网络分类器性能进行评估。

2.根据权利要求1所述的基于毫米波传感器的行人和车辆分类方法，其特征在于：步骤(4)中，所述级联神经网络分类器是由两个卷积神经网络级联而成。

3.根据权利要求2所述的基于毫米波传感器的行人和车辆分类方法，其特征在于：所述卷积神经网络包括三个带有修正线性单元的卷积层、三个下采样层、一个带有修正线性单元的全连接层和一个带有softmax分类器的全连接器。

4.根据权利要求3所述的基于毫米波传感器的行人和车辆分类方法，其特征在于：对所述卷积神经网络，分别设置其卷积层滤波器的大小、步长和个数；所述下采样层滤波器为最大值滤波器，设置其大小和步长；所述全连接层为dropout层，所述softmax分类器分别输出行人和车辆的分类概率。

5.根据权利要求1所述的基于毫米波传感器的行人和车辆分类方法，其特征在于：步骤(4)中，所述各级网络中各层参数的设置包括：

(61)设置训练卷积神经网络的相关参数，包括每次送入各级卷积神经网络的样本数量、测试间隔、优化方法选择、学习速率、梯度更新的权重；

(62)将带有标签的训练数据集分批次送入级联神经网络分类器的各级网络，前向传播计算损失值，后向传播计算每层的梯度，根据选择的优化方法进行网络参数更新；

(63)记录并保存每次训练和测试的学习率、快照，以及对应的状态，直到测试样本的正确率达到设定阈值后，保存网络参数，并结束第一级网络训练；

(64)将第一级网络中分类错误的样本以及行人样本作为第二级卷积神经网路的输入，训练方法与第一级神经网络相同；直到测试集的正确率在某一范围内小幅度上下波动或者训练达到最大迭代次数。