CN114708663A - 一种基于少样本学习的毫米波雷达感知手势识别方法 - Google Patents

Abstract

一种基于少样本学习的毫米波雷达感知手势识别方法，设计动作手势和雷达参数，搭建毫米波雷达系统平台，人体站在平台采集处前方，进行手势动作变化，利用毫米波雷达发射线性调频信号，然后接收包含手势信息的回波信号，将发射信号和接收信号进行混频处理，得到中频信号；然后对中频信号进行杂波抑制以及2D‑FFT的预处理，构建手势动作的距离‑时间以及速度‑时间数据集，并从中选取若干个代表性距离、速度特征作为网络输入样本集；接着利用改进网格搜索的算法优化SVM模型参数，选择最优参数实现少样本的数据集训练，并实现手势的识别。本发明实现高准确率的手势识别效果。本发明应用前景广阔，具备较强实用。

Description

一种基于少样本学习的毫米波雷达感知手势识别方法

技术领域

本发明涉及人机交互技术领域，尤其涉及一种基于少样本学习的毫米波雷达感知手势识别方法。

背景技术

随着神经网络、深度学习等人工智能技术的长足发展，手势动作识别技术已成为无线感知、模式识别、计算机视觉、信号处理等领域的研究热点之一，在安防监控、人机交互、安全驾驶等领域，具有广阔的市场前景和深远的社会应用价值。如在家居生活，人们可利用空中手势，无需接触设备按下按键就可以远程调节音量和切换节目，使用户体验感更加方便舒适；在汽车驾驶领域，驾驶员使用指定的动态手势进行驾驶操作，可提高安全性；在娱乐游戏方面，玩家能够极大化创新游戏操作，使娱乐方式更加丰富多样化，促进更多娱乐产品的优化升级。

现有较为成熟的手势识别技术，大多通过可穿戴设备或者光学图像获取手势特征信息来实现手势识别。其中，基于可穿戴设备的手势识别技术大多应用传感器或者数据手套等进行信息获取，存在着便携性差且设备成本较高的问题；而基于光学图像的手势识别技术大多通过摄像头来拍摄手势信息，存在着高功耗问题；此外手势识别技术的数据以图像或者视频的形式进行存储，这种形式容易导致用户隐私性安全性问题，且手势识别技术本身在复杂环境中信息提取效率较低。

近年来，随着毫米波雷达技术的不断发展，基于毫米波雷达信号的手势识别技术越来越受到重视。毫米波雷达传感器可以有效地解决光照不足等条件影响的识别精度问题，具有一定的穿透遮挡传播功能，可以有效地避免遮挡的影响，同时大大消除了用户隐私泄露的隐患，且可以集成到低功耗、小体积的高速处理芯片中。因此，研究基于毫米波雷达的手势识别技术具有非常重大的意义。

目前，毫米波雷达的手势识别方法主要基于深度学习算法，具有大数据集依赖性和计算复杂性。基于深度学习的手势识别是一种数据驱动算法，尚不能有效解决训练数据稀缺和计算资源受限等问题。通常来说，高性能的识别网络往往需要采用更深层的网络结构，模型的参数规模越大，所需训练样本越多带来计算复杂度越高，模型的过拟合风险也越大。基于雷达的手势动作识别鲜有公开数据集，大多都是基于自测数据或仿真数据，并且实验中在有限时间内也难以获得大量雷达回波数据。因此，如何在雷达手势动作感知中有效借鉴迁移学习方法，研究在小样本数据量的基础上实现对手势动作识别训练，从而降低计算复杂度并保持较高的识别率是需要解决的问题之一。

发明内容

为了克服现有技术的不足，本发明提出了一种基于少样本学习的毫米波雷达感知手势识别方法，在样本集较少的情况下实现对人的手势动作的高准确率识别，具有较好的泛化能力。

为了解决上述技术问题本发明提供如下的技术方案：

一种基于少样本学习的毫米波雷达感知手势识别方法，包括以下步骤：

步骤1：设计动作手势和雷达参数，搭建毫米波雷达系统平台；

步骤2：人体站在平台采集处前方，进行手势动作变化，利用毫米波雷达发射线性调频信号，然后接收包含手势信息的回波信号，将发射信号和接收信号进行混频处理，得到中频信号；

步骤3：对数字中频信号先进行杂波预处理，然后利用两次FFT算法处理得到手势动作的距离和速度特征矩阵；

步骤4：选取设定时间的速度和距离特征，构建多种手势的动作特征数据集；

步骤5：对动作手势的特征数据集进行归一化处理，降低训练复杂度；

步骤6：从归一化的动作手势特征数据集中抽取一部分作为训练集，训练SVM模型；

步骤7：利用改进网格搜索的算法优化SVM模型中的惩罚因子参数c和径向基核函数参数g，重复步骤6，不断重复训练以得到更好的网络模型；

步骤8：调用训练好的网络模型对验证集进行分类识别。

进一步，所述步骤1中，所述的动作手势为包含手臂运动的动作手势，其运动特征与整个手部以及手臂相关，所设计的雷达参数包括发射天线数目N_tx，接收天线数目N_rx，调频信号的起始频率f_st，调频斜率K_slope，总帧数N_frame,每帧持续时间T_frame，每帧调频周期内的chirp数目N_chirp，每个chirp的周期T_chirp，每个chirp内的ADC采样点数N_adc，ADC采样频率F_sadc和ADC的采样时间T_{ramp_end}，这些参数的设置根据所设计手势的最大的可测量距离D_max、最大的可测量速度V_max、距离分辨力D_res与速度分辨力V_res作为指标来确定，计算公式为：

式中，c表示光速，λ表示调频中心频率所对应的波长，B表示调频带宽，与各参数直接的关系有：

B＝K_slopeT_adc

T_{ramp_end}为ADC的总采样时间，包含ADC采用的起始时间和有效采样时间

T_chirp为每个chirp的周期时间，由T_{ramp_end}和一段闲置时间组成，因此在进行参数设计时要遵循：

再进一步，所述步骤2中，所述的获取动作手势中频信号的过程是：利用工作在77-81GHz的毫米波雷达，由N_tx个发射天线发射周期的FMCW信号，设置调频信号的起始频率f_st，调频斜率K_slope，总帧数N_frame,每帧持续时间T_frame，每帧调频周期内的chirp数目N_chirp，每个chirp的周期T_chirp，每个chirp内的ADC采样点数N_adc，ADC采样频率F_sadc，ADC的采样时间T_{ramp_end}等参数后，N_rx个接收天线对人体动作手势的反射回波信号进行接收，共计N_tx×N_rx个通道，发射信号与反射信号经混频后，获得中频信号，再经数据采集板进行采样，得到数字中频信号。

更进一步，所述步骤3中，所述的对数字中频信号进行杂波预处理和计算手势动作的距离和速度特征矩阵，过程如下：

a.按照所设置的雷达参数，将采集卡采集到的原始中频信号数据分为多个通道数据，对每一个通道数据利用EMD分解方法进行去噪，然后再将去噪后的每一个通道数据划分为N_frame个帧周期，每个帧周期再继续分为N_chirp个chirp信号，每个chirp信号包含N_adc个复数采样数据；

b.对任一通道、任一帧周期内的每一个chirp信号作一维快速傅里叶变换(即1D-FFT)，得到不同调频周期的一维距离像信息，再利用谱峰位置搜索方法，利用已知中频信号频率，产生一个具有不同的分离峰值的频谱，每个峰值表示在特定距离处存在物体目标，由此可以得到待测手势目标的距离时间特征。

c.然后对1D-FFT处理后的信号在每个chirp同一距离下的相位再作FFT，则可得到手势目标的距离多普勒信息，利用距离像信息进行配准，得到速度不同的目标，最后得出不同动作的速度时间特征。

所述步骤4中，所述的选取设定时间的速度和距离特征，构建多种手势的动作特征数据集的过程是：通过设置长度为W_frame的固定滑动帧窗，在每个手势的N_frame个帧内每隔W_frame个固定帧选取手势动作的距离和速度信息，组成距离特征矢量和速度特征矢量，并存入数据集；针对任一手势特征，每一个手势重复多次，从而保存多组手势动作的距离和速度特征矢量，从而建立起不同动作手势的特征数据集，以用于后续手势分类模型的训练。

所述步骤6中，所述的利用训练集来对支持向量机SVM网络进行训练，为了降低训练复杂度以及实现非线性映射，采用支持向量机SVM中的RBF核函数，函数参数是c和g。c是用来控制损失函数的惩罚系数，需要在训练模型之前设置；g是核函数中的gamma函数设置，gamma相当于调整模型的复杂度。

所述步骤7中，所述的利用改进网格搜索的算法优化SVM模型中的惩罚因子参数c和径向基核函数参数g，使模型能够拥有好的泛化能力和高的准确率，过程是：

a.根据经验给出c和g的取值范围；

b.将参数值网格进行离散化，设置确定的搜索步长，并沿参数不同的增长方向创建网络，网络中的节点是相关的参数对；

c.在需要搜索的样本中，每个参数选择若干离散值，将c和g所有可能的组合挑选出来，以用于训练模型；经过搜索，最优参是选取训练之后的最佳参数；

d.将最优c和g代入支持向量机SVM中的训练函数，用特征数据集划分的训练集训练网络模型。

本发明的有益效果是：

1.本发明具有较好的泛化能力，而且抗干扰能力强，能够应用在远程遥控，智能驾驶等方面；

2.本发明同时运用距离和速度信息作为手势动作的识别特征，为接下来的研究提供了一个新的研究方向；

3.主要应用了改进网格搜索的支持向量机算法，能够在样本少的情况下实现很高的识别精确度。

附图说明

图1是本发明的手势识别方法的实施过程流程图；

图2是本发明的雷达输出信号原始的数据格式；

图3是本发明的实施例定义的六种手势示意图。其中，(a)前推，(b)后摆，(c)挥手，(d)后拉，(e)敲门，(f)前摆；

图4是本发明的实施例定义的六种手势动作的距离和速度特征示意图。其中，(a)前推，(b)后摆，(c)挥手，(d)后拉，(e)敲门，(f)前摆；

图5是本发明在实施例下的实验预测结果图；

图6是本发明在实施例下的手势识别混淆矩阵图；

图7是基于少样本学习的毫米波雷达感知手势识别方法的流程图。

具体实施方式

下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

参照图1～图7，一种基于少样本学习的毫米波雷达感知手势识别方法，包括以下步骤：

步骤1设计动作手势和雷达参数，搭建毫米波雷达系统平台；

步骤2人体站在平台采集处前方，进行手势动作变化，利用毫米波雷达发射线性调频信号，然后接收包含手势信息的回波信号，将发射信号和接收信号进行混频处理，得到中频信号，信号原始数据格式如图2所示；

步骤3对数字中频信号先利用EMD分解法进行杂波预处理，然后利用两次FFT算法处理得到手势动作的距离和速度特征矩阵；

步骤4选取设定时间的速度和距离特征，构建多种手势的动作特征数据集；

步骤5对动作手势的特征数据集进行归一化处理，降低训练复杂度；

步骤6从归一化的动作手势特征数据集中抽取一部分作为训练集，用K-折交叉验证训练SVM模型；

步骤7利用改进网格搜索的算法优化SVM模型中的惩罚因子参数c和径向基核函数参数g，重复过程(6)，不断重复训练以得到更好的网络模型；

步骤8调用训练好的网络模型对验证集进行分类识别；

进一步，所述步骤1中，所述的动作手势为包含手臂运动的动作手势，其运动特征与整个手部以及手臂相关，所设计的雷达参数包括发射天线数目N_tx，接收天线数目N_rx，调频信号的起始频率f_st，调频斜率K_slope，总帧数N_frame,每帧持续时间T_frame，每帧调频周期内的chirp数目N_chirp，每个chirp的周期T_chirp，每个chirp内的ADC采样点数N_adc，ADC采样频率F_sadc和ADC的采样时间T_{ramp_end}，这些参数的设置根据所设计手势的最大的可测量距离D_max、最大的可测量速度V_max、距离分辨力D_res与速度分辨力V_res作为指标来确定，计算公式为：

式中，c表示光速，λ表示调频中心频率所对应的波长，B表示调频带宽，与各参数直接的关系有：

B＝K_slopeT_adc

T_{ramp_end}为ADC的总采样时间，包含ADC采用的起始时间和有效采样时间

T_chirp为每个chirp的周期时间，由T_{ramp_end}和一段闲置时间组成，因此在进行参数设计时要遵循：

再进一步，所述步骤2中，所述的获取动作手势中频信号的过程是：利用工作在77-81GHz的毫米波雷达，由N_tx个发射天线发射周期的FMCW信号，设置调频信号的起始频率f_st，调频斜率K_slope，总帧数N_frame,每帧持续时间T_frame，每帧调频周期内的chirp数目N_chirp，每个chirp的周期T_chirp，每个chirp内的ADC采样点数N_adc，ADC采样频率F_sadc，ADC的采样时间T_{ramp_end}等参数后，N_rx个接收天线对人体动作手势的反射回波信号进行接收，共计N_tx×N_rx个通道，发射信号与反射信号经混频后，获得中频信号，再经数据采集板进行采样，得到数字中频信号。

更进一步，所述步骤3中，所述的对数字中频信号进行杂波预处理和计算手势动作的距离和速度特征矩阵，过程如下：

a.按照所设置的雷达参数，将采集卡采集到的原始中频信号数据分为多个通道数据，对每一个通道数据利用EMD分解方法进行去噪，然后再将去噪后的每一个通道数据划分为N_frame个帧周期，每个帧周期再继续分为N_chirp个chirp信号，每个chirp信号包含N_adc个复数采样数据；

b.对任一通道、任一帧周期内的每一个chirp信号作一维快速傅里叶变换(即1D-FFT)，得到不同调频周期的一维距离像信息，再利用谱峰位置搜索方法，利用已知中频信号频率，产生一个具有不同的分离峰值的频谱，每个峰值表示在特定距离处存在物体目标，由此可以得到待测手势目标的距离时间特征。

c.然后对1D-FFT处理后的信号在每个chirp同一距离下的相位再作FFT，则可得到手势目标的距离多普勒信息，利用距离像信息进行配准，得到速度不同的目标，最后得出不同动作的速度时间特征。

所述步骤4中，所述的选取设定时间的速度和距离特征，构建多种手势的动作特征数据集的过程是：通过设置长度为W_frame的固定滑动帧窗，在每个手势的N_frame个帧内每隔W_frame个固定帧选取手势动作的距离和速度信息，组成距离特征矢量和速度特征矢量，并存入数据集；针对任一手势特征，每一个手势重复多次，从而保存多组手势动作的距离和速度特征矢量，从而建立起不同动作手势的特征数据集，以用于后续手势分类模型的训练。

所述步骤6中，所述的利用训练集来对支持向量机SVM网络进行训练，为了降低训练复杂度以及实现非线性映射，采用支持向量机SVM中的RBF核函数，函数参数是c和g。c是用来控制损失函数的惩罚系数，需要在训练模型之前设置；g是核函数中的gamma函数设置，gamma相当于调整模型的复杂度。

所述步骤7中，所述的利用改进网格搜索的算法优化SVM模型中的惩罚因子参数c和径向基核函数参数g，使模型能够拥有好的泛化能力和高的准确率，过程是：

a.根据经验给出c和g的取值范围；

b.将参数值网格进行离散化，设置确定的搜索步长，并沿参数不同的增长方向创建网络，网络中的节点是相关的参数对；

c.在需要搜索的样本中，每个参数选择若干离散值，将c和g所有可能的组合挑选出来，以用于训练模型；经过搜索，最优参是选取训练之后的最佳参数；

d.将最优c和g代入支持向量机SVM中的训练函数，用特征数据集划分的训练集训练网络模型。

该实施例中的采用TI的IWR1443BOOST雷达和DCA1000EVM数据采集卡进行回波数据采集，该雷达包含3个发射天线和4个接收天线，但在该实例中仅采用了1个发射天线和4个接收天线。

该实施例中设置的最大可测量距离D_max为6.4m、最大的可测量速度V_max为9.5m/s，手势动作时间约2s，由此设计的雷达参数为：起始工作频率f_st为77GHz，调频斜率K_slope为40MHz/μs，总帧数N_frame为50帧，每帧持续时间T_frame为40ms，调频周期T_chirp为100μs，每帧调频周期内的chirp数目N_chirp为128，每个chirp内的ADC采样点数N_adc为128，ADC采样频率F_sadc为2000MHz，ADC的采样时间T_{ramp_end}为75μs，由此可计算出距离分辨力D_res为5cm，与速度分辨力V_res为0.15m/s。

该实施例中定义的手势动作如图3所示，包括前推、后摆、挥手、后拉、敲门以及前摆等6种手势动作，人体站在平台采集处80cm左右位置，进行手势动作变化，获取雷达回波中频信号，。

该实施例中利用毫米波雷达得到的6种手势动作的距离-时间和速度-时间特征如图4所示，从中选出一定时间间隔的动作距离和速度信息，每种动作的距离-时间和速度-时间各获得50组特征矢量数据。

在该实施例的网络训练阶段，主要采用支持向量机网络来进行训练，首先将得到的手势距离和速度特征转换成矩阵形式，作为手势数据集，然后对数据集进行归一化处理，降低计算的复杂度；根据预定的标签，即后摆对应数字“1”，后拉对应数字“2”，挥手对应数字“3”，前摆对应数字“4”，前推对应数字“5”以及敲门对应数字“6”，将每种手势的距离和速度特征信息与训练标签一一对应。并将其分为训练集，验证集和测试集，通过网格搜索算法对网络参数寻优对训练集进行训练，选择一组最优参数，然后进行网络训练，保存训练好的网络模型。

最后该实施例对六种手势进行了测试，每种手势5个样本，测试的结果如图5所示，识别结果的混淆矩阵如图6所示。在仅有5个手势样本的情况下，大部分手势的识别率达到100％，平均的识别准确率达到了96.7％，验证了本发明提出的基于少样本学习的毫米波雷达感知手势识别方法的有效性。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (7)

1.一种基于少样本学习的毫米波雷达感知手势识别方法，其特征在于，所述方法包括以下步骤：

步骤1：设计动作手势和雷达参数，搭建毫米波雷达系统平台；

步骤2：人体站在平台采集处前方，进行手势动作变化，利用毫米波雷达发射线性调频信号，然后接收包含手势信息的回波信号，将发射信号和接收信号进行混频处理，得到中频信号；

步骤3：对数字中频信号先进行杂波预处理，然后利用两次FFT算法处理得到手势动作的距离和速度特征矩阵；

步骤4：选取设定时间的速度和距离特征，构建多种手势的动作特征数据集；

步骤5：对动作手势的特征数据集进行归一化处理，降低训练复杂度；

步骤6：从归一化的动作手势特征数据集中抽取一部分作为训练集，训练SVM模型；

步骤7：利用改进网格搜索的算法优化SVM模型中的惩罚因子参数c和径向基核函数参数g，重复步骤6，不断重复训练以得到更好的网络模型；

步骤8：调用训练好的网络模型对验证集进行分类识别。

2.如权利要求1所述的一种基于少样本学习的毫米波雷达感知手势识别方法，其特征在于，所述步骤1中，所述的动作手势为包含手臂运动的动作手势，其运动特征与整个手部以及手臂相关，所设计的雷达参数包括发射天线数目N_tx，接收天线数目N_rx，调频信号的起始频率f_st，调频斜率K_slope，总帧数N_frame,每帧持续时间T_frame，每帧调频周期内的chirp数目N_chirp，每个chirp的周期T_chirp，每个chirp内的ADC采样点数N_adc，ADC采样频率F_sadc和ADC的采样时间T_{ramp_end}，这些参数的设置根据所设计手势的最大的可测量距离D_max、最大的可测量速度V_max、距离分辨力D_res与速度分辨力V_res作为指标来确定，计算公式为：

式中，c表示光速，λ表示调频中心频率所对应的波长，B表示调频带宽，与各参数直接的关系有：

B＝K_slopeT_adc

T_{ramp_end}为ADC的总采样时间，包含ADC采用的起始时间和有效采样时间

T_chirp为每个chirp的周期时间，由T_{ramp_end}和一段闲置时间组成，因此在进行参数设计时要遵循：

3.如权利要求1或2所述的一种基于少样本学习的毫米波雷达感知手势识别方法，其特征在于，所述步骤2中，所述的获取动作手势中频信号的过程是：利用工作在77-81GHz的毫米波雷达，由N_tx个发射天线发射周期的FMCW信号，设置调频信号的起始频率f_st，调频斜率K_slope，总帧数N_frame,每帧持续时间T_frame，每帧调频周期内的chirp数目N_chirp，每个chirp的周期T_chirp，每个chirp内的ADC采样点数N_adc，ADC采样频率F_sadc，ADC的采样时间T_{ramp_end}等参数后，N_rx个接收天线对人体动作手势的反射回波信号进行接收，共计N_tx×N_rx个通道，发射信号与反射信号经混频后，获得中频信号，再经数据采集板进行采样，得到数字中频信号。

4.如权利要求1或2所述的一种基于少样本学习的毫米波雷达感知手势识别方法，其特征在于，所述步骤3中，所述的对数字中频信号进行杂波预处理和计算手势动作的距离和速度特征矩阵，过程如下：

a.按照所设置的雷达参数，将采集卡采集到的原始中频信号数据分为多个通道数据，对每一个通道数据利用EMD分解方法进行去噪，然后再将去噪后的每一个通道数据划分为N_frame个帧周期，每个帧周期再继续分为N_chirp个chirp信号，每个chirp信号包含N_adc个复数采样数据；

b.对任一通道、任一帧周期内的每一个chirp信号作一维快速傅里叶变换(即1D-FFT)，得到不同调频周期的一维距离像信息，再利用谱峰位置搜索方法，利用已知中频信号频率，产生一个具有不同的分离峰值的频谱，每个峰值表示在特定距离处存在物体目标，由此可以得到待测手势目标的距离时间特征；

c.然后对1D-FFT处理后的信号在每个chirp同一距离下的相位再作FFT，则可得到手势目标的距离多普勒信息，利用距离像信息进行配准，得到速度不同的目标，最后得出不同动作的速度时间特征。

5.如权利要求1或2所述的一种基于少样本学习的毫米波雷达感知手势识别方法，其特征在于，所述步骤4中，所述的选取设定时间的速度和距离特征，构建多种手势的动作特征数据集的过程是：通过设置长度为W_frame的固定滑动帧窗，在每个手势的N_frame个帧内每隔W_frame个固定帧选取手势动作的距离和速度信息，组成距离特征矢量和速度特征矢量，并存入数据集；针对任一手势特征，每一个手势重复多次，从而保存多组手势动作的距离和速度特征矢量，从而建立起不同动作手势的特征数据集，以用于后续手势分类模型的训练。

6.如权利要求1或2所述的一种基于少样本学习的毫米波雷达感知手势识别方法，其特征在于，所述步骤6中，所述的利用训练集来对支持向量机SVM网络进行训练，

为了降低训练复杂度以及实现非线性映射，采用支持向量机SVM中的RBF核函数，函数参数是c和g，c是用来控制损失函数的惩罚系数，需要在训练模型之前设置；g是核函数中的gamma函数设置，gamma相当于调整模型的复杂度。

7.如权利要求6所述的一种基于少样本学习的毫米波雷达感知手势识别方法，其特征在于，所述步骤7中，所述的利用改进网格搜索的算法优化SVM模型中的惩罚因子参数c和径向基核函数参数g，使模型能够拥有好的泛化能力和高的准确率，过程是：

a.根据经验给出c和g的取值范围；

b.将参数值网格进行离散化，设置确定的搜索步长，并沿参数不同的增长方向创建网络，网络中的节点是相关的参数对；

c.在需要搜索的样本中，每个参数选择若干离散值，将c和g所有可能的组合挑选出来，以用于训练模型；经过搜索，最优参是选取训练之后的最佳参数；

d.将最优c和g代入支持向量机SVM中的训练函数，用特征数据集划分的训练集训练网络模型。

Images