CN110378204A - 一种基于车载毫米波雷达的多目标分类方法 - Google Patents
一种基于车载毫米波雷达的多目标分类方法 Download PDFInfo
- Publication number
- CN110378204A CN110378204A CN201910489514.0A CN201910489514A CN110378204A CN 110378204 A CN110378204 A CN 110378204A CN 201910489514 A CN201910489514 A CN 201910489514A CN 110378204 A CN110378204 A CN 110378204A
- Authority
- CN
- China
- Prior art keywords
- training
- neural network
- branch
- radar
- convolutional neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000013528 artificial neural network Methods 0.000 claims abstract description 23
- 238000010606 normalization Methods 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 88
- 238000001514 detection method Methods 0.000 claims description 67
- 238000013527 convolutional neural network Methods 0.000 claims description 62
- 238000005070 sampling Methods 0.000 claims description 26
- 238000012795 verification Methods 0.000 claims description 26
- 238000012360 testing method Methods 0.000 claims description 15
- 238000010586 diagram Methods 0.000 claims description 10
- 238000012937 correction Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 4
- 230000026676 system process Effects 0.000 claims description 4
- 230000014509 gene expression Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000004088 simulation Methods 0.000 claims description 3
- 210000000689 upper leg Anatomy 0.000 description 13
- 210000002414 leg Anatomy 0.000 description 12
- 210000004394 hip joint Anatomy 0.000 description 6
- 230000005021 gait Effects 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 210000000544 articulatio talocruralis Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000002683 foot Anatomy 0.000 description 2
- 210000000629 knee joint Anatomy 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 244000309466 calf Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 210000001624 hip Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000003141 lower extremity Anatomy 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明公开了一种基于车载毫米波雷达的多目标分类方法，首先对雷达获取到的不同目标的IF信号进行采样，转换为帧信号，对帧信号进行二维傅里叶变换，归一化后得到距离‑多普勒图；由此构建距离‑多普勒图样本集；其次构建混合级联神经网络分类器，用距离‑多普勒图样本集作为输入对混合级联神经网络分类器进行有监督的学习，获得各支路上分类器的网络参数，最后得到一个能够进行多目标分类的分类器，对雷达获取的目标IF信号进行分类。该方法通过混合级联分类器，克服了级联分类器应用场景的局限性，能够对多种目标类别进行分类。
Description
技术领域
本发明涉及一种基于车载毫米波雷达的多目标分类方法，具体涉及一种基于混合级联神经网络的车载毫米波雷达多目标分类方法。
背景技术
近年来，随着市场对汽车主动安全和智能化需求的不断提高，无人驾驶巨大的社会和经济价值越发凸显，越来越多的企业与科研机构积极参与并推动无人驾驶领域的发展。由于汽车行业对于行人的安全保障有着极高的要求，所以行人和车辆分类逐渐成为无人驾驶中一项关键技术。在自动驾驶领域，无人驾驶车辆必须具备通过车载传感器识别行人和车辆及其所在位置的能力，以实现进一步的决策。一旦检测错误则会造成伤亡，后果严重，所以对于行人和车辆识别的准确性要求极高。因此行人和车辆分类是一个极富挑战性的研究课题。
传统的行人和车辆识别主要基于视觉传感器。就目前技术来说，视觉虽然可以提供丰富的图像信息，但是室外场景中的光照变化、遮挡、阴影等影响，导致视觉算法在复杂交通环境中鲁棒性较低。毫米波雷达作为无人驾驶中的重要传感器之一，已经被用于行人和车辆识别。与光学应用不同，毫米波雷达的使用不受光照条件限制。另外，雷达传感器可以嵌入到车辆内部，因此对设备的维护更容易，操作更稳定。
在实际场景中，行人和车辆所出现的比例相差较大，使得在训练分类器时，必须考虑样本不平衡性。这种样本不均衡特点往往会影响传统分类器的性能；类别“越不平衡”，效果越差。
级联分类器可以有效地解决样本不平衡的问题。通过使用多个分类器，可以有效的平衡样本比重。将平衡后的样本送入最终的分类器加以训练，从而提高分类准确率。但是级联分类器的应用范围有限，无法用于解决样本不平衡的多目标分类。
发明内容
发明目的：本发明旨在提供一种能够精确对行人、自行车和汽车进行分类的方法。
技术方案：本发明采用如下技术方案：
一种基于车载毫米波雷达的多目标分类方法，包括：训练阶段和测试阶段，所述训练阶段包括如下步骤：
(1)获取毫米波雷达系统对目标回波信号处理后的中频信号f(t)，并对每个获取到的中频信号f(t)标定分类标签；
所述毫米波雷达系统安装于车辆上，所述毫米波雷达系统包括雷达发射机、雷达接收机和混频器；所述雷达发射机周期性发射线性调频信号，雷达接收机接收目标散射的回波信号，混频器利用雷达发射的线性调频信号对接收到的回波信号进行混频处理，得到中频信号；
(2)对IF信号f(t)以采样频率Fs进行采样，一个调频连续波时宽T内采样点数为N，连续采集L个时宽；得到N×L个采样点，形成N×L维的帧信号；所述帧信号第n行l列元素f(n,l)为第l个时宽的第n个采样点，n＝1,2,…,N，l＝1,2,…,L；
对所述帧信号进行二维傅里叶变换，可表示为：
其中w(n)为高斯窗函数，p＝1,2,…,N，q＝1,2,…,L；
将F(p,q)归一化处理，获得距离-多普勒图；所述距离-多普勒图中像素值P(p,q)为：
其中，P(p,q)表示距离-多普勒图的像素值，|·|表示绝对值。由此构建距离-多普勒图样本集；
(3)将样本集分为训练集TrainSet、验证集VerifySet；
(4)构建混合级联神经网络分类器，所述混合级联神经网络分类器包括行人检测支路、自行车检测支路，所述行人检测支路和自行车检测支路并联，所述行人检测支路和自行车检测支路均包含两个级联的卷积神经网络；
将训练集TrainSet中的数据输入到构建的混合级联分类器中，进行有监督的学习，获得各支路上分类器的网络参数；
所述测试阶段包括如下步骤：
(5)采集待测目标的IF信号ftg(t)；对ftg(t)按照步骤(2)所述的方法采样，采样点构成帧信号ftg(n,l)，对ftg(n,l)进行二维傅里叶变换，得到距离-多普勒图Ftg(p,q)；
将待测目标的距离-多普勒图输入训练好的混合级联神经网络分类器，分别得到行人检测支路和自行车检测支路的检测结果Sh和Sb，根据Sh和Sb的状态，得到目标的最终分类结果Sr：
其中Sh＝1表示行人检测支路的检测结果为行人；Sb＝1表示自行车检测支路的检测结果为自行车；Sr＝0表示最终分类结果为行人；Sr＝1表示最终分类结果为自行车；Sr＝2表示最终分类结果为汽车。
步骤(4)中对混合级联神经网络分类器进行有监督的学习，包括如下步骤：
(4.1)设置卷积神经网络的训练参数，所述训练参数包括一次训练所需样本数、测试间隔、优化方法选择、学习速率、梯度更新的权重；
(4.2)将标签为行人的样本设置为正样本，将标签为自行车或汽车的样本设置为负样本，对行人检测支路的卷积神经网络进行训练；
(4.3)将标签为自行车的样本设置为正样本，将标签为行人或汽车的样本设置为负样本，对自行车检测支路的卷积神经网络进行训练；
对行人检测支路或自行车检测支路的卷积神经网络进行训练的步骤为：
训练所述支路的第一级卷积神经网络：将带有标签的训练集样本数据按照步骤(4.1)设置的一次训练所需样本数分批送入所述支路的第一级卷积神经网络，记录并保存每次训练的学习率、快照，以及对应的状态，每次训练后用验证集中的样本进行验证，直到验证集样本的准确率达到某一阈值后，保存网络参数，并结束支路上第一级卷积神经网络训练；
构建所述支路的第二级训练样本集，所述第二级训练样本集包括训练所述支路的第一级卷积神经网络时训练集中所有正样本、训练所述支路的第一级卷积神经网络中分类错误的负样本；构建所述支路的第二级验证样本集，所述第二级验证样本集包括验证所述支路的第一级卷积神经网络时验证集中所有正样本、验证所述支路的第一级卷积神经网络中分类错误的负样本；训练所述支路的第二级卷积神经网络：将带有标签的第二级训练样本集数据按照步骤(4.1)设置的一次训练所需样本数分批送入所述支路的第二级卷积神经网络，记录并保存每次训练的学习率、快照，以及对应的状态，每次训练后用第二级验证样本集中的样本进行验证，直到第二级验证样本集样本的准确率达到某一阈值后，保存网络参数，并结束支路上第二级卷积神经网络训练；
步骤(3)中还包括对样本集进行预处理，所述预处理包括：
对样本集进行恒虚警检测，降低噪声影响；
对样本集进行数据增强，主要包括对距离-多普勒图的翻转；
对样本集中的距离-多普勒图进行线性插值；
计算样本集中的距离-多普勒图中每个像素位置像素值的平均值，并将样本集中的每个像素点的像素值减去其对应位置像素值的平均值。
所述步骤(2)中采样频率Fs＝10MHz/s，调频连续波时宽T＝50μs。
每个卷积神经网络的结构相同，所述卷积神经网络包括三个带线性修正单元的卷积层、三个下采样层、一个带有线性修正单元的全连接层和一个带有softmax分类器的全连接层。
步骤(1)中也可以采用仿真生成中频信号f(t)，包括如下步骤：
(1.1)建立行人、自行车和汽车的时域雷达回波信号表达式：
其中M为目标的散射点数，ρk为第k个散射点的散射系数，τk＝2Rk/c为第k个散射点的回波时延，Rk表示雷达与第k个散射点之间的距离，c为电磁波传播速度；fc为雷达发射的线性调频信号的载波频率，γ为雷达发射的线性调频信号的线性调频斜率；
(1.2)利用雷达发射的线性调频信号对雷达回波信号x(t)进行混频处理，获取IF信号f(t)：
其中雷达发射的线性调频信号s(t)＝Aexp(j2πfct+jπγt2)，A为信号幅度。
为了降低计算量，忽略二次时延相位项，IF信号f(t)近似为：
有益效果：本发明与现有技术相比，其显著优点是：1、本发明通过构建混合级联神经网络分类器，有效降低了车载毫米波雷达实际应用场景中行人、自行车和汽车样本不平衡对目标分类的影响，提高了目标分类准确率；2、通过混合级联分类器，克服了级联分类器应用场景的局限性，扩展了级联分类器在多目标分类中的应用。
附图说明
图1为本发明公开的多目标分类方法的流程图；
图2混合级联神经网络分类器的结构示意图；
图3实施例1中卷积神经网络的结构示意图；
图4为雷达与目标位置关系示意图；
图5为行人运动的前半周期建模示意图；
图6为行人运动的前半周期垂直于运动平面视图的示意图；
图7为行人运动的后半周期建模示意图；
图8为自行车或汽车的建模示意图；
图9为本发明方法与单级卷积神经网络在不同迭代次数下准确率对比图；
图10为车载毫米波雷达系统的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明的具体实施案例做说明。
实施例1
如图1所示，一种基于车载毫米波雷达的多目标分类方法，包括：训练阶段和测试阶段，所述训练阶段包括如下步骤：
步骤1、获取毫米波雷达系统对目标回波信号处理后的中频信号f(t)，并对每个获取到的中频信号f(t)标定分类标签；
所述毫米波雷达系统安装于车辆上，所述毫米波雷达系统包括雷达发射机、雷达接收机和混频器；所述雷达发射机周期性发射线性调频信号，雷达接收机接收目标散射的回波信号，混频器利用雷达发射的线性调频信号对接收到的回波信号进行混频处理，得到中频信号f(t)；
车载毫米波雷达系统的结构如图10所示，图中TX天线为雷达发射机的发射天线，RX天线为雷达接收机的接收天线。合成器位于雷达发射机，用于生产线性调频信号，该信号由雷达发射机发射。目标对线性调频信号的反射即为雷达回波信号，雷达接收机捕捉雷达回波信号，混频器利用线性调频信号对雷达回波信号混频，生产IF信号。
在训练阶段，分别以行人、自行车和汽车为目标，获取多个中频信号，并对每个中频信号标定目标的分类标签。
步骤2、对IF信号f(t)以采样频率Fs进行采样，一个调频连续波时宽T内采样点数为N，连续采集L个时宽；得到N×L个采样点，形成N×L维的帧信号；所述帧信号第n行l列元素f(n,l)为第l个时宽的第n个采样点，n＝1,2,…,N，l＝1,2,…,L；
对所述帧信号进行二维傅里叶变换，可表示为：
其中w(n)为高斯窗函数，p＝1,2,…,N，q＝1,2,…,L；
将F(p,q)归一化处理，获得距离-多普勒图；所述距离-多普勒图中像素值P(p,q)为：
其中，P(p,q)表示距离-多普勒图的像素值，|·|表示绝对值。
本实施例中，采样频率Fs＝10MHz/s，调频连续波时宽T＝50μs。由于样本点为复数，所以采样点数N＝FsT/2，由此计算出N＝250，为IF信号的采样点数；采集128个时宽的信号，即L＝128，为多普勒维的采样点数。
由于毫米波雷达系统周期发送线性调频信号，通过上述方式可以获得距离-多普勒图样本集。
步骤3、将样本集分为训练集TrainSet、验证集VerifySet；
为了提高模型的精确度，对样本集中的数据进行预处理，所述预处理包括：
对样本集进行恒虚警检测，降低噪声影响；
对样本集进行数据增强，主要包括对距离-多普勒图的翻转；
对样本集中的距离-多普勒图进行线性插值；
计算样本集中的距离-多普勒图中每个像素位置上像素值的平均值，并将样本集中的每个像素点上的像素值减去其对应位置像素值的平均值，即对图像数据进行中心化，使得样本集中的距离-多普勒图中每个像素位置上像素值的平均值为0，从而减少计算量，加快训练。
步骤4、构建混合级联神经网络分类器，如图2所示，所述混合级联神经网络分类器1包括行人检测支路2、自行车检测支路3，所述行人检测支路和自行车检测支路并联，所述行人检测支路和自行车检测支路均包含两个级联的卷积神经网络；
每个卷积神经网络的结构相同，所述卷积神经网络包括三个带线性修正单元的卷积层、三个下采样层、一个带有线性修正单元的全连接层和一个带有softmax分类器的全连接层。
每个卷积神经网络的结构相同，所述卷积神经网络包括三个带线性修正单元的卷积层、三个下采样层、一个带有线性修正单元的全连接层FullConnect1和一个带有softmax分类器的全连接层FullConnect2。
本实施例中，卷积神经网络的结构如图3所示，第一个卷积层滤波器conv1的大小为3*3像素，步长为1个像素，滤波器的个数为16个，第一个下采样层MaxPool滤波器采用最大值滤波器，大小为2*2像素，步长为2个像素；第二层卷积层滤波器conv2的大小为3*3像素，步长为1个像素，滤波器个数为32个，第二下采样层滤波器采用最大值滤波器，大小为2*2像素，步长为2个像素；第三卷积层滤波器conv3的大小为3*3像素，步长为1个像素，滤波器个数为64个，第三下采样层滤波器采用最大值滤波器，大小为2*2像素，步长为2个像素；第一个全连接层FullConnect1有1024个神经元，使用dropout层防止过拟合；softmax分类器输出正样本和负样本的分类概率。
将训练集TrainSet中的数据输入到构建的混合级联分类器中，进行有监督的学习，获得各支路上分类器的网络参数；
对混合级联神经网络分类器进行有监督的学习，包括如下步骤：
(4.1)设置卷积神经网络的训练参数，所述训练参数包括一次训练所需样本数、测试间隔、优化方法选择、学习速率、梯度更新的权重；
(4.2)将标签为行人的样本设置为正样本，将标签为自行车或汽车的样本设置为负样本，对行人检测支路的卷积神经网络进行训练；
(4.3)将标签为自行车的样本设置为正样本，将标签为行人或汽车的样本设置为负样本，对自行车检测支路的卷积神经网络进行训练；
对行人检测支路或自行车检测支路的卷积神经网络进行训练的步骤为：
训练所述支路的第一级卷积神经网络：将带有标签的训练集样本数据按照步骤(4.1)设置的一次训练所需样本数分批送入所述支路的第一级卷积神经网络，记录并保存每次训练的学习率、快照，以及对应的状态，每次训练后用验证集中的样本进行验证，直到验证集样本的准确率达到某一阈值后，保存网络参数，并结束支路上第一级卷积神经网络训练；
构建所述支路的第二级训练样本集，所述第二级训练样本集包括训练所述支路的第一级卷积神经网络时训练集中所有正样本、训练所述支路的第一级卷积神经网络中分类错误的负样本；构建所述支路的第二级验证样本集，所述第二级验证样本集包括验证所述支路的第一级卷积神经网络时验证集中所有正样本、验证所述支路的第一级卷积神经网络中分类错误的负样本；
训练所述支路的第二级卷积神经网络：将带有标签的第二级训练样本集数据按照步骤(4.1)设置的一次训练所需样本数分批送入所述支路的第二级卷积神经网络，记录并保存每次训练的学习率、快照，以及对应的状态，每次训练后用第二级验证样本集中的样本进行验证，直到第二级验证样本集样本的准确率达到某一阈值后，保存网络参数，并结束支路上第二级卷积神经网络训练；
经过上述的训练阶段，得到了用于目标分类的混合级联神经网络分类器，之后可以使用该分类器进行分类测试。所述测试阶段包括如下步骤：
步骤5、采集待测目标的IF信号ftg(t)；对ftg(t)按照步骤(2)所述的方法采样，采样点构成帧信号ftg(n,l)，对ftg(n,l)进行二维傅里叶变换，得到距离-多普勒图Ptg(p,q)；
将待测目标的距离-多普勒图Ptg(p,q)输入训练好的混合级联神经网络分类器，分别得到行人检测支路和自行车检测支路的检测结果Sh和Sb，根据Sh和Sb的状态，得到目标的最终分类结果Sr：
其中Sh＝1表示行人检测支路的检测结果为行人；Sb＝1表示自行车检测支路的检测结果为自行车；Sr＝0表示最终分类结果为行人；Sr＝1表示最终分类结果为自行车；Sr＝2表示最终分类结果为汽车。
实施例2
实施例1是通过获取毫米波雷达系统对目标回波信号处理后的中频信号f(t)来构样本集。当采集到的已知目标类别的中频信号f(t)数量不足时，可以通过仿真的方法来生成中频信号f(t)，包括如下步骤：
(1.1)建立行人、自行车和汽车的时域雷达回波信号表达式：
其中M为目标的散射点数，ρk为第k个散射点的散射系数，τk＝2Rk/c为第k个散射点的回波时延，Rk表示雷达与第k个散射点之间的距离，c为电磁波传播速度；fc为雷达发射的线性调频信号的载波频率，γ为雷达发射的线性调频信号的线性调频斜率；
通过对运动目标建模，获得目标上不同散射点到雷达的距离Rk，从而对雷达的回波信号进行仿真；
(1.2)利用雷达发射的线性调频信号对仿真的雷达回波信号x(t)进行混频处理，获取IF信号f(t)：
其中雷达发射的线性调频信号s(t)＝Aexp(j2πfct+jπγt2)，A为信号幅度，fc为载波频率，γ为线性调频斜率，*为共轭处理。
为了减少计算量，考虑到时延τk较小，忽略二次时延相位项，IF信号f(t)近似为：
散射点到雷达的距离Rk可以通过以下方法设置：
(A)根据行人的步态分析可知，假设行人以一条腿为支撑向前运动，且在运的过程中，支撑腿保持笔直，而另一条腿则以弯曲的姿态向前摆动。由于两条腿交替向前支撑，同时假设行人的步态周期为T0，所以在t＝T0/2时，两条腿的运动状态发生交换。因此建模时，只针对左腿的运动情况进行建模。
行人建模如图4-8所示，图4中，雷达向运动中的目标发射线性调频信号，并将目标的回波信号与发射信号相混频，获得IF中频信号。图5为行人左腿在[0,T0/2]时间段内的建模图。其中P表示行人运动的起点，即t＝0时刻行人的位置，Q表示雷达所放置的位置，R0表示雷达与行人之间的起始距离|PQ|，Oc表示髋关节在t＝0时刻的位置，直线POc表示躯干所对应的初始位置。Oa表示踝关节在t＝0时刻的位置，OaOc表示t＝0时刻左腿的初始位置；O'c表示髋关节在t＝t0时刻的位置，t0∈(0,T0/2]；OaO'c表示t＝t0时刻左腿的运动位置。Th表示大腿的散射点在t＝0时刻的位置，Th'表示t0时刻大腿散射点的位置。点F、M分别为Oa和Th'在面PQF上的投影位置。在|OaF|表示行人与雷达之间的高度差，面OaOcPF表示行人的运动平面。面QPOc表示雷达照射平面，表示行人的运动平面与照射平面之间的夹角。θcmax表示大腿与躯干所在直线的最大夹角，θa(t)表示在[0,T0/2]时间段内运动过程中大腿与躯干所在直线的夹角。v0表示行人的运动速度，表示行人的运动方向。图2中Oc围绕Oa在运动平面内运动。构建的三维坐标系中，Z轴正向为竖直向上，X、Y轴为水平方向的坐标轴。
图6表示垂直于运动平面的视图。其中，表示髋关节在t＝T0/2时刻的位置，有向弧为髋关节的运动轨迹。在运动平面内，髋关节的水平速度分量等于躯干的运动速度，即髋关节水平方向上速度v0保持不变。Lleg＝|OaOc|为腿的长度，Lthigh为大腿的长度，Lcrus为小腿的长度。
Lleg＝Lthigh+Lcrus (11)
行人的步态周期T0为
T0＝4Llegsin(θcmax)/v0 (12)
根据图5，在t∈[0,T0/2]时间段内，从雷达到大腿散射点的距离RTh(t)为：
其中||·||表示欧几里得范数，RAB表示点A到点B的距离。
根据图6中，可以得到OaO'c与O'cH之间的夹角θc(t)的计算公式：
其中，点H为O'c垂直于直线的垂足点；点N为Oa垂直于直线的垂足点；θh(t)是直线NH与OaH之间的夹角。将公式(14)、(15)代入公式(13)：
其中，R0＝RQP,为行人运动时踝关节的Z轴坐标，
图7表示左腿在(T0/2,T0]时间段内的建模图。其中，Th″和C″分别表示t＝t1时刻大腿和小腿的散射点位置，t1∈(T0/2,T0]。Okn表示膝关节散射点，Oc″和Okn″分别为髋关节和膝关节在t＝t1时刻的位置。点G、L、S分别为Oc″、Th″、C″在面QPG上的投影点。θcv(t)表示(T0/2,T0]时间段内躯干所在直线与大腿之间的夹角，θkn(t)表示大腿所在直线与小腿之间的夹角。(T0/2,T0]时间段内，大腿Oc″Okn″在Oc″上摆动，同时小腿Okn″C″在Okn″上摆动。摆动的起始时间t＝T0/2，并且左腿在t＝t1时刻的位置如图6。在(T0/2,T0]时间段内，雷达到大腿散射点Th″的距离为：
RPL＝RPG-RGL＝v0t-xThsin(θcv(t)) (20)
其中，zc(t)＝za+Llegcos(θa(t))，θcv(t)＝θcmaxcos(ω(t-T0/2))，ω＝2π/T0，将公式(17)～(19)代入公式(16)：
其中，
由此可知雷达到大腿散射点的距离为：
由此可获得大腿散射点在步态周期T0时间内的距离公式。以此类推，躯干和下肢散射点的距离公式均可使用相同的方法获得。
(B)假设自行车和汽车的雷达截面积近似为矩形，并且在观测时间内作匀速直线运动。车辆建模如图8所示，其中，点U表示自行车或汽车上的散射点，点Q为雷达所放置的位置，点W表示散射点U在面XQY上的投影。车辆沿着X轴的正方向向前运动，且速度为v0。雷达到散射点U的距离公式为：
其中，(x,y,z)表示散射点U的起始坐标。同理可获得车辆沿Y轴方向运动场景下散射点的距离公式。在不同的运动场景下，车辆雷达截面积大小可能发生变化。在雷达截面积上，选取多个散射点，从而获取各个散射点与雷达之间的距离公式。
实施例3
本实施例采集40个行人的IF信号、80个自行车的IF信号和200个汽车的IF信号，对该采集到的每个IF信号进行处理生成多幅距离-多普勒图，从每个IF信号生成的多幅距离-多普勒图中等间隔抽取5张距离-多普勒图，用于构成样本集，总计1600张。在样本集中，选取400张距离-多普勒图构成验证集，其余的1200张作为训练集。此外，以相同的方式产生400张测试样本集。
本实例在Tensorflow框架上搭建混合级联神经网络分类器并用GPU进行加速训练。样本集数据图像大小为224*224，通过线性插值将图像的大小转换为56*56，同时对每个像素点的灰度值减去相应的均值，之后在送入网络训练。
由于正样本和负样本的样本比例不平衡，所以在损失函数中，根据比例，调整样本错误分类损失的权重，从而在经过第一级卷积神经网络之后，正样本和负样本的比例达到均衡。当验证集准确率到达指定阈值时，结束第一级卷积神经网络的训练，并将全部的正样本和负样本中分类错误的样本送入到第二级卷积神经网络中。当验证集样本准确率保持稳定或达到最大迭代次数时，第二级卷积神经网络训练完成，并保存各级的网络参数。在测试行人检测支路级联分类器时，首先加载级联分类器各级网络参数，然后将测试样本送入级联分类器中。如果第一级卷积神经网络分类结果为负样本，则直接作为行人检测支路的分类结果，否则继续分类。第二级卷积神经网路的分类结果即为最终的分类结果。自行车检测支路级联分类器的训练和测试流程与行人检测支路相同，只不过自行车检测支路级联分类器中，将自行车指定为正样本，行人和汽车指定为负样本。
表1状态转换表
混合级联神经网络分类器的输出作为状态转换模块的输入，根据状态转换表，如表1所示，对两支路的分类结果进行转换，从而获得最终的分类结果。即行人检测支路和自行车检测支路的检测结果Sh和Sb，根据Sh和Sb的状态，得到目标的最终分类结果Sr：
其中Sh＝1表示行人检测支路的检测结果为行人；Sb＝1表示自行车检测支路的检测结果为自行车；Sr＝0表示最终分类结果为行人；Sr＝1表示最终分类结果为自行车；Sr＝2表示最终分类结果为汽车。
本实施例与混合级联神经网络中单级网络性能比较。单级卷积神经网络主要包括三个带有修正线性单元的卷积层、三个下采样层、一个带有修正线性单元的全连接层和一个带有softmax分类器的全连接层。测试结果如图9，单级卷积神经网络在迭代40次之后达到稳定，准确率为72％。本发明的两级混合级联神经网络分类器在迭代60次之后，达到稳定，且准确率为80％。混合级联神经网络分类器克服了级联分类器在应用场景上的局限性，扩展了级联分类器在多目标分类中的应用。同时，与卷积神经网络相比，较低了样本不平衡对分类结果的影响，提高了分类的准确率，实现了行人、自行车和汽车目标的分类。
Claims (7)
1.一种基于车载毫米波雷达的多目标分类方法，其特征在于，包括：训练阶段和测试阶段，所述训练阶段包括如下步骤：
(1)获取毫米波雷达系统对目标回波信号处理后的中频信号f(t)，并对每个获取到的中频信号f(t)标定分类标签；
所述毫米波雷达系统安装于车辆上，所述毫米波雷达系统包括雷达发射机、雷达接收机和混频器；所述雷达发射机周期性发射线性调频信号，雷达接收机接收目标散射的回波信号，混频器利用雷达发射的线性调频信号对接收到的回波信号进行混频处理，得到中频信号；
(2)对IF信号f(t)以采样频率Fs进行采样，一个调频连续波时宽T内采样点数为N，连续采集L个时宽；得到N×L个采样点，形成N×L维的帧信号；所述帧信号第n行l列元素f(n,l)为第l个时宽的第n个采样点，n＝1,2,…,N，l＝1,2,…,L；
对所述帧信号进行二维傅里叶变换，可表示为：
其中w(n)为高斯窗函数，p＝1,2,…,N，q＝1,2,…,L；
将F(p,q)归一化处理，获得距离-多普勒图；所述距离-多普勒图中像素值为：
其中，P(p,q)表示距离-多普勒图的像素值，|·|表示绝对值；由此构建距离-多普勒图样本集；
(3)将样本集分为训练集TrainSet、验证集VerifySet；
(4)构建混合级联神经网络分类器，所述混合级联神经网络分类器包括行人检测支路、自行车检测支路，所述行人检测支路和自行车检测支路并联，所述行人检测支路和自行车检测支路均包含两个级联的卷积神经网络；
将训练集TrainSet中的数据输入到构建的混合级联分类器中，进行有监督的学习，获得各支路上分类器的网络参数；
所述测试阶段包括如下步骤：
(5)采集待测目标的IF信号ftg(t)；对ftg(t)按照步骤(2)所述的方法采样，采样点构成帧信号ftg(n,l)，对ftg(n,l)进行二维傅里叶变换，得到距离-多普勒图Ptg(p,q)；
将待测目标的距离-多普勒图输入训练好的混合级联神经网络分类器，分别得到行人检测支路和自行车检测支路的检测结果Sh和Sb，根据Sh和Sb的状态，得到目标的最终分类结果Sr：
其中Sh＝1表示行人检测支路的检测结果为行人；Sb＝1表示自行车检测支路的检测结果为自行车；Sr＝0表示最终分类结果为行人；Sr＝1表示最终分类结果为自行车；Sr＝2表示最终分类结果为汽车。
2.根据权利要求1所述的基于车载毫米波雷达的多目标分类方法，其特征在于，步骤(4)中对混合级联神经网络分类器进行有监督的学习，包括如下步骤：
(4.1)设置卷积神经网络的训练参数，所述训练参数包括一次训练所需样本数、测试间隔、优化方法选择、学习速率、梯度更新的权重；
(4.2)将训练集中标签为行人的样本设置为正样本，将标签为自行车或汽车的样本设置为负样本，对行人检测支路的卷积神经网络进行训练；
(4.3)将训练集中标签为自行车的样本设置为正样本，将标签为行人或汽车的样本设置为负样本，对自行车检测支路的卷积神经网络进行训练；
对行人检测支路或自行车检测支路的卷积神经网络进行训练的步骤为：
训练所述支路的第一级卷积神经网络：将带有标签的训练集样本数据按照步骤(4.1)设置的一次训练所需样本数分批送入所述支路的第一级卷积神经网络，记录并保存每次训练的学习率、快照，以及对应的状态，每次训练后用验证集中的样本进行验证，直到验证集样本的准确率达到某一阈值后，保存网络参数，并结束支路上第一级卷积神经网络训练；
构建所述支路的第二级训练样本集，所述第二级训练样本集包括训练所述支路的第一级卷积神经网络时训练集中所有正样本、训练所述支路的第一级卷积神经网络中分类错误的负样本；构建所述支路的第二级验证样本集，所述第二级验证样本集包括验证所述支路的第一级卷积神经网络时验证集中所有正样本、验证所述支路的第一级卷积神经网络中分类错误的负样本；
训练所述支路的第二级卷积神经网络：将带有标签的第二级训练样本集数据按照步骤(4.1)设置的一次训练所需样本数分批送入所述支路的第二级卷积神经网络，记录并保存每次训练的学习率、快照，以及对应的状态，每次训练后用第二级验证样本集中的样本进行验证，直到第二级验证样本集样本的准确率达到某一阈值后，保存网络参数，并结束支路上第二级卷积神经网络训练。
3.根据权利要求1所述的基于车载毫米波雷达的多目标分类方法，其特征在于，步骤(3)中还包括对样本集进行预处理，所述预处理包括：
对样本集进行恒虚警检测，降低噪声影响；
对样本集进行数据增强，主要包括对距离-多普勒图的翻转；
对样本集中的距离-多普勒图进行线性插值；
计算样本集中的距离-多普勒图中每个像素位置像素值的平均值，并将样本集中的每个像素点的像素值减去其对应位置像素值的平均值。
4.根据权利要求1所述的基于车载毫米波雷达的多目标分类方法，其特征在于，所述步骤(2)中采样频率Fs＝10MHz/s，调频连续波时宽T＝50μs。
5.根据权利要求1所述的基于车载毫米波雷达的多目标分类方法，其特征在于，每个卷积神经网络的结构相同，所述卷积神经网络包括三个带线性修正单元的卷积层、三个下采样层、一个带有线性修正单元的全连接层和一个带有softmax分类器的全连接层。
6.根据权利要求1所述的基于车载毫米波雷达的多目标分类方法，其特征在于，步骤(1)中采用仿真生成中频信号f(t)，包括如下步骤：
(1.1)建立行人、自行车和汽车的时域雷达回波信号表达式：
其中M为目标的散射点数，ρk为第k个散射点的散射系数，τk＝2Rk/c为第k个散射点的回波时延，Rk表示雷达与第k个散射点之间的距离，c为电磁波传播速度；fc为雷达发射的线性调频信号的载波频率，γ为雷达发射的线性调频信号的线性调频斜率；
(1.2)利用雷达发射的线性调频信号对雷达回波信号x(t)进行混频处理，获取IF信号f(t)：
其中雷达发射的线性调频信号s(t)＝Aexp(j2πfct+jπγt2)，A为信号幅度。
7.根据权利要求6所述的基于车载毫米波雷达的多目标分类方法，其特征在于，忽略二次时延相位项，IF信号f(t)近似为：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910489514.0A CN110378204B (zh) | 2019-06-06 | 2019-06-06 | 一种基于车载毫米波雷达的多目标分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910489514.0A CN110378204B (zh) | 2019-06-06 | 2019-06-06 | 一种基于车载毫米波雷达的多目标分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110378204A true CN110378204A (zh) | 2019-10-25 |
| CN110378204B CN110378204B (zh) | 2021-03-26 |
Family
ID=68249907
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910489514.0A Active CN110378204B (zh) | 2019-06-06 | 2019-06-06 | 一种基于车载毫米波雷达的多目标分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110378204B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111983595A (zh) * | 2020-07-14 | 2020-11-24 | 北京航空航天大学杭州创新研究院 | 一种室内定位的方法及装置 |
| CN112180338A (zh) * | 2020-06-10 | 2021-01-05 | 四川九洲电器集团有限责任公司 | 全息数字阵列雷达目标数量估计方法和系统 |
| CN113534120A (zh) * | 2021-07-14 | 2021-10-22 | 浙江大学 | 一种基于深度神经网络的多目标恒虚警率检测方法 |
| CN113687351A (zh) * | 2021-09-14 | 2021-11-23 | 无锡威孚高科技集团股份有限公司 | 一种降低误报率的安防雷达监控预警系统 |
| CN114462450A (zh) * | 2022-01-24 | 2022-05-10 | 东南大学 | 一种基于时频分析和霍夫变换的主动目标速度的分类方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107340518A (zh) * | 2017-07-19 | 2017-11-10 | 电子科技大学 | 一种用于信号缺失下的isar雷达成像方法 |
| US20180232883A1 (en) * | 2017-02-13 | 2018-08-16 | Amit Sethi | Systems & Methods for Computational Pathology using Points-of-interest |
| CN108872984A (zh) * | 2018-03-15 | 2018-11-23 | 清华大学 | 基于多基地雷达微多普勒和卷积神经网络的人体识别方法 |
| CN109100710A (zh) * | 2018-06-26 | 2018-12-28 | 东南大学 | 一种基于卷积神经网络的水下目标识别方法 |
| CN109271838A (zh) * | 2018-07-19 | 2019-01-25 | 重庆邮电大学 | 一种基于fmcw雷达的三参数特征融合手势识别方法 |
| CN109606357A (zh) * | 2017-10-04 | 2019-04-12 | 英飞凌科技股份有限公司 | 用于使用毫米波雷达传感器控制车辆的操作的系统和方法 |
-
2019
- 2019-06-06 CN CN201910489514.0A patent/CN110378204B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180232883A1 (en) * | 2017-02-13 | 2018-08-16 | Amit Sethi | Systems & Methods for Computational Pathology using Points-of-interest |
| CN107340518A (zh) * | 2017-07-19 | 2017-11-10 | 电子科技大学 | 一种用于信号缺失下的isar雷达成像方法 |
| CN109606357A (zh) * | 2017-10-04 | 2019-04-12 | 英飞凌科技股份有限公司 | 用于使用毫米波雷达传感器控制车辆的操作的系统和方法 |
| CN108872984A (zh) * | 2018-03-15 | 2018-11-23 | 清华大学 | 基于多基地雷达微多普勒和卷积神经网络的人体识别方法 |
| CN109100710A (zh) * | 2018-06-26 | 2018-12-28 | 东南大学 | 一种基于卷积神经网络的水下目标识别方法 |
| CN109271838A (zh) * | 2018-07-19 | 2019-01-25 | 重庆邮电大学 | 一种基于fmcw雷达的三参数特征融合手势识别方法 |
Non-Patent Citations (3)
| Title |
|---|
| HAOXIANG LI ET AL.: "A Convolutional Neural Network Cascade for Face Detection", 《IEEE XPLORE》 * |
| 张国祥: "基于深度神经网络的人车分类算法", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 潘兵等: "基于双网络级联卷积神经网络的设计", 《电光与控制》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112180338A (zh) * | 2020-06-10 | 2021-01-05 | 四川九洲电器集团有限责任公司 | 全息数字阵列雷达目标数量估计方法和系统 |
| CN112180338B (zh) * | 2020-06-10 | 2022-03-01 | 四川九洲电器集团有限责任公司 | 全息数字阵列雷达目标数量估计方法和系统 |
| CN111983595A (zh) * | 2020-07-14 | 2020-11-24 | 北京航空航天大学杭州创新研究院 | 一种室内定位的方法及装置 |
| CN111983595B (zh) * | 2020-07-14 | 2023-11-10 | 北京航空航天大学杭州创新研究院 | 一种室内定位的方法及装置 |
| CN113534120A (zh) * | 2021-07-14 | 2021-10-22 | 浙江大学 | 一种基于深度神经网络的多目标恒虚警率检测方法 |
| CN113534120B (zh) * | 2021-07-14 | 2023-06-30 | 浙江大学 | 一种基于深度神经网络的多目标恒虚警率检测方法 |
| US12044799B2 (en) | 2021-07-14 | 2024-07-23 | Zhejiang University | Deep neural network (DNN)-based multi-target constant false alarm rate (CFAR) detection methods |
| CN113687351A (zh) * | 2021-09-14 | 2021-11-23 | 无锡威孚高科技集团股份有限公司 | 一种降低误报率的安防雷达监控预警系统 |
| CN114462450A (zh) * | 2022-01-24 | 2022-05-10 | 东南大学 | 一种基于时频分析和霍夫变换的主动目标速度的分类方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110378204B (zh) | 2021-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110378204B (zh) | 一种基于车载毫米波雷达的多目标分类方法 | |
| CN108226892B (zh) | 一种基于深度学习的复杂噪声环境下的雷达信号恢复方法 | |
| CN110443138B (zh) | 基于车载毫米波雷达联合svm和cnn多目标分类方法 | |
| CN104183127B (zh) | 交通监控视频检测方法和装置 | |
| CN107609522A (zh) | 一种基于激光雷达和机器视觉的信息融合车辆检测系统 | |
| CN103593678B (zh) | 一种大跨度桥梁车辆动态荷载分布检测方法 | |
| CN106646449A (zh) | 物体检测装置及物体检测方法 | |
| Cha et al. | Improving SAR automatic target recognition using simulated images under deep residual refinements | |
| Thormann et al. | Extended target tracking using Gaussian processes with high-resolution automotive radar | |
| CN103853908A (zh) | 一种自适应交互式多模型的机动目标跟踪方法 | |
| CN110378191A (zh) | 基于毫米波传感器的行人和车辆分类方法 | |
| CN109299644A (zh) | 一种基于区域全卷积网络的车辆目标检测方法 | |
| CN107796373A (zh) | 一种基于车道平面几何模型驱动的前方车辆单目视觉的测距方法 | |
| CN109212519B (zh) | 基于bf-dlstm的窄带雷达目标跟踪方法 | |
| CN109932720A (zh) | 基于雷达的运动目标识别方法及装置 | |
| CN110764083A (zh) | 毫米波雷达防入侵的数据融合方法及系统 | |
| CN116148801B (zh) | 一种基于毫米波雷达的目标检测方法及系统 | |
| He et al. | A novel multi-source vehicle detection algorithm based on deep learning | |
| Yu et al. | Camera-radar data fusion for target detection via Kalman filter and Bayesian estimation | |
| Chen et al. | Mixed traffic flow state detection: A connected vehicles-assisted roadside radar and video data fusion scheme | |
| CN113030940B (zh) | 一种转弯机动下的多星凸型扩展目标跟踪方法 | |
| Wengerter et al. | Simulation of urban automotive radar measurements for deep learning target detection | |
| CN102595309A (zh) | 一种基于无线传感器网络的穿墙跟踪方法 | |
| CN108304869A (zh) | 一种基于多个传感器的综合幅值信息的融合方法及系统 | |
| CN107783111A (zh) | 一种基于最大熵准则的雷达前视超分辨成像方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |