CN113837131A - 一种基于fmcw毫米波雷达的多尺度特征融合手势识别方法 - Google Patents

Abstract

一种基于FMCW毫米波雷达的多尺度特征融合手势识别方法，采用密度聚类算法对雷达目标的点迹进行处理，有效剔除异常点和无效点，抑制了杂波和噪声，利于提取手势运动特征；采用了信号截取和密度聚类算法的处理，大大减少了数据运算，便于集成在能耗低、体积小的高速处理芯片上；对处理过的距离‑角度图以及距离‑多普勒图进行多尺度变换，提取手掌和手指特征，兼顾手掌整体动作识别的同时，还关注手指的细微动作。融合距离、角度、速度手势运动信息，一定程度上提高了手势识别的准确度和精度。

Description

一种基于FMCW毫米波雷达的多尺度特征融合手势识别方法

技术领域

本发明属于雷达手势识别技术领域，具体涉及一种基于FMCW毫米波雷达的多尺度特征融合手势识别方法。

背景技术

基于雷达的手势识别是利用电磁波获取人体手势的运动特征，再通过信号处理分析手势在信号中的信息，最终通过机器学习或深度学习方法实现人体动态手势的识别。如何对数据进行预处理，选用什么样的手势特征的提取，设计何种分类算法，对最终的手势识别率都有一定的影响。

目前主流的雷达手势识别技术大多采用距离-角度图、距离-多普勒图作为手势的动态特征。距离-角度图(Range-Angle Image，RAI)是对手势的运动轨迹进行追踪生成二维图，这种特征图可以很直观的看出手势的运动状态，作为神经网络的特征输入，提高了识别率，但是这种识别方法对相似的动作无法区分，会造成手势的方向的误判；距离-多普勒图(Range-Doppler Image，RDI)是对手部相对于雷达传感器运动的远近和速度信息进行提取，其中速度信息可以反映出手势运动的方向，将两种信息组合成距离-多普勒特征图，输入到端到端的神经网络进行训练，与利用距离-角度图进行对比，手势方向的判断的更加准确，但是手势识别率有待提高。另外，这两种手势识别方法主要关注手掌的运动状态，对手指动作的变换不太敏感。

多尺度特征融合结合卷积神经网络中高层网络语义信息表征能力强和低层网络几何细节信息表征能力强的优点，在特征输入前，将图像进行缩放得到不同尺寸的图像，输入到不同卷积层中提取卷积特征，然后将经卷积神经网络输出的特征图进行融合。将多种特征信息进行融合，在把握整体的同时，关注局部的细节，目前多尺度特征已广泛应用于图像识别等领域。

发明内容

针对现有技术中手势识别率较低、手指细微动作不敏感等缺陷，本发明以多特征融合作为设计思路，引入多尺度特征融合技术，提出一种基于FMCW毫米波雷达的多尺度特征融合手势识别方法，只需将距离-多普勒图和距离-角度图变换多种尺度，输入到不同卷积层中提取特征，然后将特征进行融合输入到长短时记忆网络中训练识别。与传统的雷达手势识别方法相比，本发明利用距离-角度图作为手势识别的主要特征，利用距离-多普勒图进行辅助判断，同时利用多尺度变换准确提取手掌和手指特征，兼顾手掌整体动作识别的同时，还关注手指的细微动作，提高了手势识别的准确度和精度。

一种基于FMCW毫米波雷达的多尺度特征融合手势识别方法，包含以下步骤：

步骤1，FMCW毫米波雷达系统初始化，配置手势采样的参数，包括收发天线对、采样点数、采样时间；

步骤2，FMCW毫米波雷达平台对不同手势动作进行采样，获得原始手势回波数据S(m)＝[S₁(m),S₂(m),…,S_N(m)]，其中m，N分别代表毫米波雷达平台设置的采样点数和通道数，原始手势回波信号S(m)由采样点数m和通道数N构成二维矩阵；

步骤3，对原始手势回波数据S(m)进行截取筛选，雷达回波信号往往会有较强的杂波，例如静态物体反射、墙体多径等，根据手势识别的特性设定相应的手势范围0-1m，这样范围内的手势信号得到显现，范围外的杂波得到剔除，获得有效手势数据S_H(m)；

步骤4，对有效手势数据S_H(m)进行动态信号处理，首先对信号进行杂波抑制，防止噪声和杂波对手势信号提取的干扰，然后在距离-角度维上做傅里叶变换FFT形成距离-角度图RAI，在距离-速度维上做傅里叶变换FFT形成距离-多普勒图RDI；

步骤5，基于DBSCAN密度聚类算法对RAI中的雷达目标点迹进行处理，选取点最多的一个簇，也就是手势轨迹的主体，去掉了无用点，同时减少数据量；

步骤6，将RDI和DBSCAN处理完的RAI进行尺度变换，缩放得到不同尺寸的图像RDI’、RAI’，在CNN中有不同的卷积层，将不同尺寸的特征图输入到不同的卷积层中，实现多尺度特征提取；

步骤7，RDI和RAI在经过CNN提取特征后得到了两个都为1*64的特征向量记为F_RDI和F_RAI，将F_RDI和F_RAI进行特征融合，形成一个2*64的新特征融合图F_fusion；

步骤8，F_fusion作为长短期记忆网络LSTM的输入，利用其记忆单元建立手势序列前后信息之间的联系，保留了融合特征在每一步之间的联系，生成最终的时序特征向量T，大小为1*64；

步骤9，LSTM提取的时序特征向量T输出到全连接层，映射到数据样本标记空间D；

步骤10，最后通过Softmax函数得到概率p，根据最大概率p得到多尺度特征融合后对应的手势类别。

进一步地，步骤2中，通过FMCW毫米波雷达采集动态手势回波原始信号，设每个调频连续脉冲chirp的周期为t，S为频率增长斜率，τ为信号从雷达到手势然后返回的延迟，f为雷达的载波频率；雷达的发射信号X1表示为：

X1＝sin(2πft+πSt·t)

接收信号X2为：

X2＝sin[2πf(t-τ)+πS(t-τ)²]

经过混频器和低通滤波器后，输出的中频信号X为：

对上式进行一维傅里叶变换得到中频信号的频率为f_IF，设手势目标到雷达的距离为d，光速为c，由公式

得所探测目标的距离d为：

上述是对一个线性调频脉冲chirp的处理过程，对连续多个chirp进行相同的处理然后拼接成一帧数据。

进一步地，步骤4中，假设一个物体以v的速度运动，为了识别运动目标，雷达以Tc为间隔连续发送两个chrip信号，则到达接收端两个chrip信号的相位差ω与移动速度v相关为：

其中λ为调频信号的波长；

距离-多普勒图RDI即可通过以下处理得到：通过FFT处理，产生一个具有不同的分离峰值的频谱，每个峰值表示在特定距离处存在物体；进一步取每个有效数据同一距离下的相位做FFT，在同一距离下区分速度不同的多个目标；则经过做相位FFT后，得到每个目标的相位差w₁、w₂，进而得到速度不同的目标，此时得到手势特征图，即距离-多普勒图RDI。

进一步地，步骤4中，利用FMCW毫米波雷达的接收天线中两两相邻之间的相位差求和，然后再平均；即由：

得相位差为：

故根据上式的相位差算出目标的角度：

其中l为天线之间的距离；

得到了角度估计，最后只取速度不为0的手势点为有效点，对于连续多帧的雷达数据处理后，得到一个完整动态手势的轨迹图，即距离-角度图RAI。

进一步地，步骤6中，对RDI和处理过的RAI进行多尺度的缩放，将原始尺寸大小的64*64缩小至32*32。

进一步地，步骤8中，每一步的特征信息通过遗忘门f_t决定从单元状态中去除C_t-1的部分信息，再通过输入门i_t决定在单元状态中存储输入的信息C_t，如下所示：

其中，σ(·)表示sigmoid函数，W_f、W_i和W_c是LSTM单元中的权重，b_f、b_i和b_c是对应的偏置；

最后，将输入门的结果通过输出门得到隐层状态h_t和输出信息o_t，如下所示：

本发明的有益效果：

(1)相比传统的雷达手势信号预处理方法，本发明在对信号进行有效范围截取后，进一步对雷达手势运动轨迹进行凸显，采用密度聚类算法对雷达目标的点迹进行处理，有效剔除异常点和无效点，抑制了杂波和噪声，利于提取手势运动特征。

(2)由于采用了信号截取和密度聚类算法的处理，大大减少了数据运算，便于集成在能耗低、体积小的高速处理芯片上。

(3)本发明对处理过的距离-角度图以及距离-多普勒图进行多尺度变换，提取手掌和手指特征，兼顾手掌整体动作识别的同时，还关注手指的细微动作。融合距离、角度、速度手势运动信息，一定程度上提高了手势识别的准确度和精度。

附图说明

图1为本发明实施例中所述的顺时针旋转手势距离-角度示意图。

图2为本发明实施例中所述的经DBSCAN处理后的顺时针旋转手势距离-角度示意图。

图3为本发明实施例中所述的多尺度特征融合的示意图。

图4为本发明实施例中所述的基于FMCW毫米波雷达的多尺度特征融合手势识别流程图。

具体实施方式

下面结合说明书附图对本发明的技术方案做进一步的详细说明。

本发明是一种基于多尺度特征融合的手势识别方法。首先要对雷达动态手势信号进行处理，包含测距、测速、测角等。本发明采用3发4收FMCW毫米波雷达平台采集动态手势回波原始信号，设每个调频连续脉冲的周期为t，S为频率增长斜率，τ为信号从雷达到手势然后返回的延迟，f为雷达的载波频率。雷达的发射信号X1可以表示为：

X1＝sin(2πft+πSt·t)

接收信号X2为：

X2＝sin[2πf(t-τ)+πS(t-τ)²]

经过混频器和低通滤波器后，输出的中频信号X为：

X＝1₂cos(2πSτt+2πfτ-πSτ²)

对上式进行一维傅里叶变换可以得到中频信号的频率为f_IF，设手势目标到雷达的距离为d，光速为c，由公式：

可得所探测目标的距离d为：

上述是对一个线性调频脉冲chirp的处理过程，对连续多个chirp进行相同的处理然后拼接成一帧数据。

假设一个物体以v的速度运动，为了识别运动目标，雷达以Tc为间隔连续发送两个chrip信号，则到达接收端两个chrip信号的相位差ω与移动速度v相关为：

其中λ为调频信号的波长；

距离-多普勒图RDI即可通过以下处理得到：对每个chirp使用傅里叶变换处理，将会产生一个具有不同的分离峰值的频谱，每个峰值表示在特定距离处存在物体。如果速度不同的多个运动手指在测量时距离相同，将无法区分。需要进一步取每个chirp同一距离下的相位做FFT，可以在同一距离下区分速度不同的多个目标。则经过做相位FFT后，就可以得到每个目标的相位差w₁、w₂，进而得到速度不同的目标。此时也得到了第一个手势特征图，即距离-多普勒图RDI。

目标与不同天线的距离差会导致1DFFT峰值相位的变化，根据该相位变化可以进行角度估计。利用四个接收天线中两两相邻之间的相位差求和，然后再平均。即由：

可得相位差为：

故根据上式的相位差可以算出目标的角度：

其中l为天线之间的距离。

得到了角度估计，最后只取速度不为0的手势点为有效点，对于连续多帧的雷达数据处理后，就可以得到一个完整动态手势的轨迹图即距离-角度图RAI。如图1所示为逆时针旋转手势轨迹点图。

已经处理得到了距离-多普勒和距离-角度两种特征图，需要对距离-角度图进行基于密度聚类算法的手势目标点迹处理。本发明采用DBSCAN聚类算法进行处理，该方法可以筛选手势轨迹主体，这是因为手势运动具有连续性，手势轨迹点不会突变，经过DBSCAN聚类算法后，包含数据点最多的那一个簇为正确的手势运动轨迹点，其他可以视为无用点。处理后的结果如图2所示。

对处理过的RAI和RDI进行多尺度的缩放，如图3所示，将原始尺寸大小为64*64缩小至32*32，然后分别输入到CNN网络的不同的卷积层中，经过卷积层特征提取后，将从RAI和RDI提取到的特征进行融合。

为了有效利用融合特征中的每步之间的联系，本发明将CNN和LSTM进行结合。即采用CNN网络进行多特征信息提取，将融合特征的每一步输入到LSTM。首先，每一步的特征信息通过遗忘门f_t决定从单元状态中去除C_t-1的部分信息，再通过输入门i_t决定在单元状态中存储输入的信息C_t，如下所示：

其中，σ(·)表示sigmoid函数，W_f、W_i和W_c是LSTM单元中的权重，b_f、b_i和b_c是对应的偏置。

最后，将输入门的结果通过输出门得到隐层状态h_t和输出信息o_t，如下所示：

将RDI、RAI特征序列输入后，保留了融合特征在每一步之间的联系，生成最终的时序特征向量S，然后将时序特征向量S输出到全连接层，映射到数据样本标记空间D，最后通过Softmax函数得到概率p，根据最大概率p就可以得到多尺度特征融合后对应的手势类别。

本发明整体流程，如图4所示，如下：

1.一种基于FMCW毫米波雷达的多尺度特征融合手势识别方法，其特征在于：具体包含以下步骤：

步骤1，FMCW毫米波雷达系统初始化，配置手势采样的参数，包括收发天线对、采样点数、采样时间。

步骤2，FMCW毫米波雷达平台对不同手势动作进行采样，获得原始手势回波数据S(m)＝[S₁(m),S₂(m),…,S_N(m)]，其中m，N分别代表毫米波雷达平台设置的采样点数和通道数，原始手势回波信号S(m)由采样点数m和通道数N构成二维矩阵。

步骤3，对原始手势回波数据S(m)进行截取筛选，雷达回波信号往往会有较强的杂波，例如静态物体反射、墙体多径等，根据手势识别的特性设定相应的手势范围0-1m，这样范围内的手势信号得到显现，范围外的杂波得到剔除，获得有效手势数据S_H(m)。

步骤4，对有效手势数据S_H(m)进行动态信号处理，首先对信号进行杂波抑制，防止噪声和杂波对手势信号提取的干扰，然后在距离-角度维上做傅里叶变换FFT形成距离-角度图RAI，在距离-速度维上做傅里叶变换FFT形成距离-多普勒图RDI。

步骤5，基于DBSCAN密度聚类算法对RAI中的雷达目标点迹进行处理，选取点最多的一个簇，也就是手势轨迹的主体，去掉了无用点，同时减少数据量。

步骤6，将RDI和DBSCAN处理完的RAI进行尺度变换，缩放得到不同尺寸的图像RDI’、RAI’，在CNN中有不同的卷积层，将不同尺寸的特征图输入到不同的卷积层中，实现多尺度特征提取。

步骤7，RDI和RAI在经过CNN提取特征后得到了两个都为1*64的特征向量记为F_RDI和F_RAI，将F_RDI和F_RAI进行特征融合，形成一个2*64的新特征融合图F_fusion。

步骤8，F_fusion作为长短期记忆网络LSTM的输入，利用其记忆单元建立手势序列前后信息之间的联系，保留了融合特征在每一步之间的联系，生成最终的时序特征向量T，大小为1*64。

步骤9，LSTM提取的时序特征向量T输出到全连接层，映射到数据样本标记空间D；

步骤10，最后通过Softmax函数得到概率p，根据最大概率p得到多尺度特征融合后对应的手势类别。

以上所述仅为本发明的较佳实施方式，本发明的保护范围并不以上述实施方式为限，但凡本领域普通技术人员根据本发明所揭示内容所作的等效修饰或变化，皆应纳入权利要求书中记载的保护范围内。

Claims (6)

1.一种基于FMCW毫米波雷达的多尺度特征融合手势识别方法，其特征在于：具体包含以下步骤：

步骤1，FMCW毫米波雷达系统初始化，配置手势采样的参数，包括收发天线对、采样点数、采样时间；

步骤2，FMCW毫米波雷达平台对不同手势动作进行采样，获得原始手势回波数据S(m)＝[S₁(m),S₂(m),…,S_N(m)]，其中m，N分别代表毫米波雷达平台设置的采样点数和通道数，原始手势回波信号S(m)由采样点数m和通道数N构成二维矩阵；

步骤3，对原始手势回波数据S(m)进行截取筛选，雷达回波信号往往会有较强的杂波，例如静态物体反射、墙体多径，根据手势识别的特性设定相应的手势范围0-1m，使范围内的手势信号得到显现，范围外的杂波得到剔除，获得有效手势数据S_H(m)；

步骤4，对有效手势数据S_H(m)进行动态信号处理，首先对信号进行杂波抑制，防止噪声和杂波对手势信号提取的干扰，然后在距离-角度维上做傅里叶变换FFT形成距离-角度图RAI，在距离-速度维上做傅里叶变换FFT形成距离-多普勒图RDI；

步骤5，基于DBSCAN密度聚类算法对RAI中的雷达目标点迹进行处理，选取点最多的一个簇，也就是手势轨迹的主体，去掉了无用点，同时减少数据量；

步骤6，将RDI和DBSCAN处理完的RAI进行尺度变换，缩放得到不同尺寸的图像RDI’、RAI’，在CNN中有不同的卷积层，将不同尺寸的特征图输入到不同的卷积层中，实现多尺度特征提取；

步骤7，RDI和RAI在经过CNN提取特征后得到了两个都为1*64的特征向量记为F_RDI和F_RAI，将F_RDI和F_RAI进行特征融合，形成一个2*64的新特征融合图F_fusion；

步骤8，F_fusion作为长短期记忆网络LSTM的输入，利用其记忆单元建立手势序列前后信息之间的联系，保留了融合特征在每一步之间的联系，生成最终的时序特征向量T，大小为1*64；

步骤9，LSTM提取的时序特征向量T输出到全连接层，映射到数据样本标记空间D；

步骤10，最后通过Softmax函数得到概率p，根据最大概率p得到多尺度特征融合后对应的手势类别。

2.根据权利要求1所述的一种基于FMCW毫米波雷达的多尺度特征融合手势识别方法，其特征在于：步骤2中，通过FMCW毫米波雷达采集动态手势回波原始信号，设每个调频连续脉冲chirp的周期为t，S为频率增长斜率，τ为信号从雷达到手势然后返回的延迟，f为雷达的载波频率；雷达的发射信号X1表示为：

X1＝sin(2πft+πSt·t)

接收信号X2为：

X2＝sin[2πf(t-τ)+πS(t-τ)²]

经过混频器和低通滤波器后，输出的中频信号X为：

对上式进行一维傅里叶变换得到中频信号的频率为f_IF，设手势目标到雷达的距离为d，光速为c，由公式

得所探测目标的距离d为：

上述是对一个线性调频脉冲chirp的处理过程，对连续多个chirp进行相同的处理然后拼接成一帧数据。

3.根据权利要求1所述的一种基于FMCW毫米波雷达的多尺度特征融合手势识别方法，其特征在于：步骤4中，假设一个物体以v的速度运动，为了识别运动目标，雷达以Tc为间隔连续发送两个chrip信号，则到达接收端两个chrip信号的相位差ω与移动速度v相关为：

其中λ为调频信号的波长；

距离-多普勒图RDI即可通过以下处理得到：通过FFT处理，产生一个具有不同的分离峰值的频谱，每个峰值表示在特定距离处存在物体；进一步取每个有效数据同一距离下的相位做FFT，在同一距离下区分速度不同的多个目标；则经过做相位FFT后，得到每个目标的相位差ω₁、ω₂，进而得到速度不同的目标，此时得到手势特征图，即距离-多普勒图RDI。

4.根据权利要求1所述的一种基于FMCW毫米波雷达的多尺度特征融合手势识别方法，其特征在于：步骤4中，利用FMCW毫米波雷达的接收天线中两两相邻之间的相位差求和，然后再平均；即由：

得相位差为：

故根据上式的相位差算出目标的角度：

其中l为天线之间的距离；

得到了角度估计，最后只取速度不为0的手势点为有效点，对于连续多帧的雷达数据处理后，得到一个完整动态手势的轨迹图，即距离-角度图RAI。

5.根据权利要求1所述的一种基于FMCW毫米波雷达的多尺度特征融合手势识别方法，其特征在于：步骤6中，对RDI和处理过的RAI进行多尺度的缩放，将原始尺寸大小的64*64缩小至32*32。

6.根据权利要求1所述的一种基于FMCW毫米波雷达的多尺度特征融合手势识别方法，其特征在于：步骤8中，每一步的特征信息通过遗忘门f_t决定从单元状态中去除C_t-1的部分信息，再通过输入门i_t决定在单元状态中存储输入的信息C_t，如下所示：

其中，σ(·)表示sigmoid函数，W_f、W_i和W_c是LSTM单元中的权重，b_f、b_i和b_c是对应的偏置；

最后，将输入门的结果通过输出门得到隐层状态h_t和输出信息o_t，如下所示：

Images