CN110988863A

CN110988863A - 一种新的毫米波雷达手势信号处理方法

Info

Publication number: CN110988863A
Application number: CN201911321301.3A
Authority: CN
Inventors: 赛景波; 吕园园; 张繁军
Original assignee: Beijing University of Technology
Current assignee: Beijing University of Technology
Priority date: 2019-12-20
Filing date: 2019-12-20
Publication date: 2020-04-10

Abstract

本发明公布了一种新的基于毫米波雷达的手势信号处理和特征提取方法。基于77GHZ的FMCW雷达平台，将手简化成由多个散射点组成的模型，对手势运动进行整体分析和局部分析，提取距离质心、多普勒质心、瞬时能量、方位角、俯仰角、方位角和多普勒相关性、俯仰角和多普勒相关性、方位角和俯仰角相关性、目标个数、正多普勒单元总能量、负多普勒单元总能量、正多普勒单元总能量和负多普勒单元总能量相关性、当前帧的距离多普勒矩阵合成向量和上一帧的距离多普勒矩阵合成向量的差向量、当前帧的距离多普勒矩阵合成向量和上一帧的距离多普勒矩阵合成向量的空间角度变化等特征参数。利用这些特征参数制作数据集，采用LSTM网络进行手势分类。

Description

一种新的毫米波雷达手势信号处理方法

技术领域

本发明属于手势识别技术，具体涉及的是一种基于毫米波雷达的手势信号处理方法。

背景技术

随着虚拟现实逐渐流行，出现了新的交互方式，传统的交互方式并不能很好的应用在这一场景，因此在空间中的手势识别方案被视为虚拟现实的理想交互方式。目前手势识别的主流实现方法主要利用光学摄像头和深度摄像头以及穿戴式传感器进行数据采集和处理。虽然光学图像和深度图像可以描述手势纹理、轮廓、形状等信息，但在强光或者昏暗光线下效果较差。可穿戴式的传感器无法实现在所有场合的使用，且必须一直佩戴，使用很不方便。而雷达传感器可以解决由于光线不佳而导致的手势识别精度低下的问题，同时还可以保护用户隐私，所以研究基于雷达传感器的手势识别技术方法有很重要的意义。

目前的研究方法中，研究者普遍将手简化成了一个质点去分析，只关注了手势动作中手的整体运动特征，而忽略了手势内部的关联性。然而手势动作中，手是一个非常复杂的非刚性目标，然而要想得到各个散射点的运动特征，基于目前的信号处理方法，需要硬件设备提供很高的距离分辨率和角度分辨率等，这需要很宽的带宽和庞大的天线阵列去换取。而这也会直接导致硬件体积增大，成本变得十分昂贵，同时还需要很高的硬件技术支持以及处理器很强的计算能力。

发明内容

本发明提供了一种新的基于毫米波雷达的手势回波信号处理和手势特征提取方法。相比于传统的手势识别技术，本发明将手看成多个散射点，从手势运动的整体和局部出发，分别提取代表手势整体运动参数、不同散射点各自的运动规律、各散射点之间的相对运动关系。同时将这些提取到的运动参数在纵向时间轴上的变化规律，通过LSTM神经网络的方法与手势类别一一对应。有效解决传统手势识别中因提取运动参数不足而导致能够识别的手势简单且种类少，识别的精度不高，识别的稳定性不强的问题。

本发明基于的雷达平台是TI(德州仪器)公司的IWR1642开发板，雷达发射的脉冲为FMCW(线性调频连续波)的脉冲波。天线配置为两发四收，发射天线为L型结构，如图1所示。雷达工作在77GHZ-81GHZ频段，TX发射功率为12.5dBm,带宽4GHZ，距离分辨率可以到达4cm。方位角分辨率在天线平面法线方向可以达到57.29°，俯仰角分辨率在天线平面法线方向可以达到38.197°。在雷达的配置中，脉冲持续时间为40us,脉冲间隔为45us～100us,脉冲的采样率为2000MHZ～6750MHZ,脉冲的采样点数为32～80，帧周期为60ms～150ms,帧间隔为10ms～100ms,本发明最终配置的结果中，距离分辨率为5cm，速度分辨率为0.0372m/s。手在距离雷达平台15cm～50cm的范围内运动。

本发明所述的基于毫米波雷达的手势识别方法，包括以下步骤：

步骤一：将雷达发射的脉冲信号S_T(t)与接收信号S_R(t)在混频器中进行混频，通过截止频率分别为f₁和f₂的高通滤波器，然后进行采样频率为

的N点的采样，得到中频信号S_m(nT_s)(n＝0,1,2,……N-1)。

步骤二：将中频信号S_m(nT_s)进行距离向压缩，做N点的一维傅里叶变换，得到中频信号距离频谱X(k)(k＝0,1,2,……N-1)。

步骤三：发射天线采用时分复用的方式，对接收天线进行虚拟扩展，扩展之后如图2所示。重复步骤二TX*RX次，计算每一根虚拟接收天线对应中频信号的距离频谱X_i(k)(i＝0,1,2,……TX*RX-1)。

步骤四：重复步骤二和步骤三M次，计算一帧(M个脉冲)中每个发射脉冲与对应的所有接收天线的中频信号S_mj(nT_s)的距离频谱X_ij(k)(j＝0,1,2,……M-1)。如图8所示。

步骤五：计算得到一帧脉冲的所有接收天线对应的中频信号距离频谱矩阵X_ij(k)之后，进行多普勒向压缩，即沿脉冲方向按行执行第二维傅里叶变换，依次计算每个距离单元的多普勒结果，得到TX*RX个维度为M*N的R-D矩阵Y_i(k,j)。如图9所示为一根虚拟天线对应的距离多普勒矩阵Y(k,j)。

步骤六：将步骤五中得到的TX*RX个距离多普勒矩阵Y_i(k,j)，沿着天线方向做幅值累加合成一个距离多普勒矩阵Sum(k,j)(k＝0,1,2,……N-1,j＝0,1,2,……M-1)，提高信噪比。

步骤七：将步骤六中得到的Sum(k,j)分别按照行、列方向进行累加，计算每一个距离单元的总能量Ins_Range(k)和每一个多普勒单元的总能量Ins_Doppler(j)。然后分别计算距离质心Range_Weight、多普勒质心Doppler_Weight、瞬时能量Energy。

步骤八：比较步骤七中得到的Ins_Range(k)，找到最大的Ins_Range对应的距离单元索引Range_Inx。找到Range_Inx单元中Sum(Range_Inx,j)最大值对应的多普勒单元索引Doppler_Inx。

步骤九：如图2、图3所示，对接收天线依次进行虚拟扩展和共轭扩展。沿着扩展之后的天线方向，计算Y_i(Range_Inx,Doppler_Inx)序列的空间傅里叶变换得到角度空间谱，得到整个手部的方位角索引Azi_Inx和俯仰角索引Ele_Inx。计算出方位角Azimuth和俯仰角Elevation。

步骤十：计算方位角和多普勒的相关系数Azi_Dop_corr。

步骤十一：计算俯仰角和多普勒的相关系数Ele_Dop_corr。

步骤十二：计算方位角和俯仰角的相关系数Azi_Ele_corr。

步骤十三：对距离多普勒矩阵Sum(k,j)进行CFAR(恒虚警率)算法处理，得到每一帧的目标个数Num_detected。

步骤十四：计算距离多普勒矩阵Sum(k,j)中正多普勒能量和Pos_Energy和负多普勒能量Neg_Energy。

步骤十五：将步骤七中得到的距离质心Range_Weight、多普勒质心Doppler_Weight、瞬时能量Energy以及步骤十四中得到的正多普勒能量Pos_Energy和负多普勒能量Pos_Energy进行预处理。

步骤十六：计算每一帧中手部合成点向量随时间的空间矢量变化Derivative_sub(T)以及Derivative_vector(T)。

步骤十七：计算正多普勒能量Pos_Energy和负多普勒能量Pos_Energy的相关性Pos_Neg_Energy_corr(T)。

步骤十八：将步骤七中得到的距离质心Range_Weight、多普勒质心Doppler_Weight、步骤十七中得到的瞬时能量Energy、步骤九中得到的方位角Azimuth和俯仰角Elevation和步骤十中得到的Azi_Dop_corr、步骤十一中得到的Ele_Dop_corr、步骤十二中得到的Azi_Ele_corr、步骤十三中得到的Num_detected、步骤十四中得到的Pos_Energy和Neg_Energy、步骤十五中得到的Pos_Neg_Energy_corr(T)、步骤十六中得到的Derivative_sub(T)以及Derivative_vector(T)同步手势类别标签，构建手势数据集。

步骤十九：将数据集中描述手势运动的特征数据分别送入卷积神经网络和LSTM(长短时记忆网络)联合的网络模型中，进行模型训练和特征提取。

步骤二十：将测试手势数据集输入到训练好的网络模型中进行分类，得到手势分类结果y。

本发明具有以下优点：本发明首先是雷达接收各种手势动作的回波信号，经过混频以后对中频信号进行处理。在建模时，将手看成是由多个散射点组成，分别从手势整体运动和内部相关运动两个角度出发，设计算法进行手势的运动参数计算，提取手势各散射点的整体运动特征和各个散射点各自的运动规律和它们之间的相对运动关系等。然后利用手势动作每帧的高度时间相关性，搭建卷积神经网络和LSTM(长短时记忆网络)联合的网络模型进行手势分类。

附图说明

图1是本发明基于的雷达平台IWR1642的L型天线结构图

图2是本发明天线虚拟扩展结构图

图3是本发明天线共轭扩展结构图

图4是本发明手从左到右滑动过程示意图

图5是本发明手拇指和食指搓捻过程示意图

图6是本发明手掌顺时针旋转过程示意图

图7是本发明食指向下点击过程示意图

图8是本发明一根虚拟天线一帧脉冲的距离FFT矩阵示意图

图9是本发明一根虚拟天线距离多普勒矩阵示意图

图10是本发明手从左到右滑动过程中散射点分布与多普勒频谱图分布的对应关系示意图

具体实施方式

下面结合附图对本发明做进一步的描述。

设计手从左到右滑动、手从右向左滑动、手从上到下、手从下到上、手从前到后、手从后到前、食指朝着雷达向下点击、食指朝着雷达向上弹起、手掌顺时针旋转、手掌逆时针旋转、拇指和食指搓捻共十一种手势动作，图4是本发明手从左到右滑动过程示意图，图5是本发明手拇指和食指搓捻过程示意图，图6是本发明手掌顺时针旋转过程示意图。图7是本发明食指向下点击过程示意图。采集不同手势动作的回波信号做信号处理，制作数据集，设计训练网络模型，最终得到手势分类结果。具体的实施步骤如下：

1)将雷达发射的脉冲信号S_T(t)与接收信号S_R(t)在混频器中进行混频，通过截止频率分别为f₁和f₂的高通滤波器，然后进行N点的采样，得到中频信号S_m(nT_s)(n＝0,1,2,……N-1)。具体实施步骤如下：

1.1)如图5所示，根据FMCW雷达发射接收示意图计算发射信号的表达式为：

式中，A为信号的幅度，f_c为信号的起始频率，B为调制带宽，T_c为调频周期。发射信号的初始相位表示为：

1.2)设在雷达波束覆盖范围的空域内有一径向速度为v(以远离天线为正方向)，在t＝0时刻，距离雷达天线距离为R₀的目标，则接收到的目标回波信号可表示为：

式中，K为信号增益，与天线的尺寸，传播衰减及目标的反射强度回波等有关；

为目标延迟；c为光速。接收信号的瞬时相位为：

1.3)通过混频器相干解调以后得到差拍信号的瞬时相位为：

P_m(t)＝P_T(t)-P_R(t)

差拍后的中频信号表示为：

目标回波经正交双通道处理以后差拍信号的复数形式表示为：

1.4)对中频信号S_m(t)进行N点的采样得到：

2)得到采集的中频信号以后，进行距离向压缩。具体的计算步骤如下：

2.1)由于雷达天线配置为两发四收模式，发射天线TX0和TX1采用的时分复用方式，所以对天线进行虚拟扩展得到TX*RX根天线，如图2所示。对八根虚拟接收天线对应的S_m(nT_s)分别进行N点的一维傅里叶变换，得到信号关于距离的频谱X_i(k)(k＝0,1,2,……N-1，i＝0,1,2,……TX*RX-1)。

2.2)重复步骤2.1M次，计算一帧(M个脉冲)中每个发射脉冲与对应的所有接收天线的中频信号S_mj(nT_s)的距离频谱X_ij(k)(j＝0,1,2,……M-1)。其中，每一帧的X_ij(k)都可以对应成一个M*N的矩阵，结果示意图如图8所示。

3)计算得到一帧脉冲的所有接收天线对应的中频信号距离频谱矩阵X_ij(k)之后，进行多普勒向压缩，即沿脉冲方向按行执行第二维傅里叶变换，依次计算每个距离单元的多普勒结果，得到TX*RX个维度为M*N的距离多普勒矩阵Y_i(k,j)。图9示意了一根虚拟天线的距离多普勒矩阵图。

4)将每一根虚拟天线的距离多普勒矩阵沿着天线方向做幅值累加,得到矩阵记为Sum(k,j)，其计算表达式如下：

5)得到幅值累加的计算结果Sum(k,j)之后，从Sum(k,j)矩阵中计算代表手势运动的运动特征参数，具体计算过程如下：

5.1)将Sum(k,j)按照列方向进行累加，计算每一个距离单元的总能量Ins_Range(k)，计算表达式为：

5.2)计算距离质心Range_Weight，计算表达式为：

5.3)比较Ins_Range(k)序列中最大的Ins_Range对应的距离单元索引Range_Inx。

5.4)将Sum(k,j)按照行方向进行累加，计算每一个距离单元的总能量Ins_Doppler(j)，计算表达式为：

5.5)计算多普勒质心Doppler_Weight，计算表达式为：

5.6)利用距离多普勒矩阵计算每一帧时刻对应的手势动作瞬时能量Energy，计算表达式为：

5.7)搜索Range_Inx单元中Sum(Range_Inx,j)最大值对应的多普勒单元索引Doppler_Inx。

6)计算手势动作整体相对于雷达的方位角Azimuth和俯仰角Elevation。

具体计算过程如下：

6.1)首先选择每一根虚拟天线对应的距离多普勒R-D矩阵中的(Doppler_Inx,Range_Inx)单元,组成沿天线方向的空间序列Y_i(Range_Inx,Doppler_Inx)序列。

6.2)对Y_i(Range_Inx,Doppler_Inx)序列中i＝4,5,6,7单元进行相位补偿。由于雷达天线配置为两发四收的模式，两个发射天线采用时分复用的方式轮换发射脉冲，第二根发射脉冲相对于第一根发射天线，延迟了一个脉冲的周期时间，对于动目标而言，就会相对于雷达就产生了一个径向位移，表现在接收天线接收信号的相移上。所以需要对第二根发射脉冲对应的四根接收天线接收信号进行相位补偿。由多普勒引起的相位延迟为：

所以，相位补偿因子就为：

补偿后的空间序列表达式为:

其中，i＝4,5,6,7。

6.3)将补偿后的空间序列进行天线的共轭扩展，如图3所示。扩展之后的方位角分辨率提高到3.5倍(16.37°)，俯仰角分辨率提高到1.6倍(22.92°)。

扩展的空间序列为:

Y_i″(Range_Inx,Doppler_Inx)＝(Y_i ^′(Range_Inx,Doppler_Inx)^*

扩展之后的序列为:

Y″_{exp_i}＝[Y_i″(Range_Inx,Doppler_Inx),(Y_i′(Range_Inx,Doppler_Inx)]

6.4)将扩展之后的空间序列Y″_{exp_i}依次沿方位角和俯仰角两个天线方向分别做S1点傅里叶变换和S2点的傅里叶变换，搜寻结果频谱中的最大值所对应的索引值，得到方位角Azimuth和俯仰角Elevation。

7)计算方位角和多普勒的相关系数：

8)计算俯仰角和多普勒的相关系数：

9)计算方位角和俯仰角的相关系数：

10)手势动作大多包含了旋转运动。以图10为例，图中假设手在运动过程中，相对于雷达有A、B、C、D、O五个散射点，手以O点为旋转中心从左向右滑动，A、B、C、D散射点旋转角速度ω相同，但相距旋转参考点O的径向距离不同，故A、B、C、D散射点的线速度v_i不同，相对于雷达的径向速度也就不同。表现在多普勒频谱图上的效果如图10所示。利用CFAR算法对Sum(k,j)进行目标检测，得到目标的个数Num_detected。

11)计算Sum(k,j)矩阵中Range_Indx距离单元的正多普勒单元的总能量Pos_Energy和负多普勒单元的总能量Neg_Energy。

12)计算当前时刻的距离多普勒矩阵合成向量和上一时刻的距离多普勒矩阵合成向量的差向量：

其中，

是代表某一根天线的距离多普勒矩阵的复数结果。

13)计算当前时刻的距离多普勒矩阵合成向量和上一时刻的距离多普勒矩阵合成向量的空间角度变化：

其中·表示内积运算，*表示数乘运算。

14)对提取到的运动特征参数进行预处理，具体的计算过程为：

利用处理得到的距离质心Range_Weight、多普勒质心Doppler_Weight、瞬时能量Energy、正多普勒单元总能量Pos_Energy、负多普勒单元总能量进行预处理：

Energy＝log₂(Energy)

Pos_Energy＝log₂(Pos_Energy)

Neg_Energy＝log₂(Neg_Energy)

15)计算正多普勒单元总能量Pos_Energy和负多普勒单元总能量Neg_Energy的相关性：

16)将最终得到的特征参数按照Range_Weight、Range_Weight、Energy、Azimuth、Elevation、Azi_Dop_corr、Ele_Dop_corr、Azi_Ele_corr、Num_detected、Range_Indx、Doppler_indx、Pos_Energy、Neg_Energy、Pos_Neg_Energy_corr、Pos_Neg_Energy_corr、Derivative_sub(T)、Derivative_vector(T)的顺序同步手势类别标签，构建手势数据集。

17)将数据集中Range_Weight、Range_Weight、Energy、Azimuth、Elevation、Azi__Dop_corr、Ele__Dop_corr、Azi_Ele_corr、Num_detected、Range_Indx、Doppler_indx、Pos_Energy、Neg_Energy、Pos_Neg_Energy_corr、Pos_Neg_Energy_corr、Derivative_sub(T)、Derivative_vector(T)并行送入卷积神经网络和LSTM(长短时记忆网络)联合的网络模型中，进行模型训练和特征提取。

18)将测试手势数据集输入到训练好的网络模型中进行分类，得到手势分类结果y。

Claims

1.本发明公布了一种新的基于毫米波雷达的手势回波信号处理方法。基于77GHZ的FMCW雷达平台，通过合理配置雷达参数，得到高距离分辨率和高速度分辨率，提出天线虚拟阵列扩展和共轭扩展算法将雷达俯仰角分辨率提高到方位角分辨率分别提高到1.67倍和3.5倍。它将手简化成由多个散射点组成的模型，分别对手势运动进行整体分析和局部分析，提取了距离质心、多普勒质心、瞬时能量、方位角、俯仰角、方位角和多普勒相关性、俯仰角和多普勒相关性、方位角和俯仰角相关性、目标个数、正多普勒单元总能量、负多普勒单元总能量、正多普勒单元总能量和负多普勒单元总能量相关性、当前时刻的距离多普勒矩阵合成向量和上一时刻的距离多普勒矩阵合成向量的差向量、当前时刻的距离多普勒矩阵合成向量和上一时刻的距离多普勒矩阵合成向量的空间角度变化等特征参数。

2.根据权利要求1所述的基于毫米波雷达的手势信号处理和特征提取参数，具体如下：

1)将中频信号依次进行一维傅里叶变换和二维傅里叶变换之后得到TX*RX个维度为M*N的R-D矩阵Y_i(k,j)。如图9所示为一根虚拟天线对应的距离多普勒矩阵Y(k,j)。

2)将1)中得到的TX*RX个距离多普勒矩阵Y_i(k,j)，沿着天线方向做幅值累加合成一个距离多普勒矩阵Sum(k,j)(k＝0,1,2,……N-1,j＝0,1,2,……M-1)。

3)将2)中得到的Sum(k,j)分别按照行、列方向进行累加分别计算距离质心Range_Weight、多普勒质心Doppler_Weight、瞬时能量Energy。

4)比较距离多普勒矩阵Sum(k,j)中幅值最大点对应的距离索引Range_Inx和多普勒单元索引Doppler_Inx。

5)如图2、图3所示，对接收天线依次进行虚拟扩展和共轭扩展。沿着扩展之后的天线方向，计算Y_i(Range_Inx,Doppler_Inx)序列的空间傅里叶变换得到角度空间谱，搜索得到整个手部的方位角索引Azi_Inx和俯仰角索引Ele_Inx，从而计算出方位角Azimuth和俯仰角Elevation。

6)计算方位角和多普勒的相关系数Azi_Dop_corr。

7)计算俯仰角和多普勒的相关系数Ele_Dop_corr。

8)计算方位角和俯仰角的相关系数Azi_Ele_corr。

9)对距离多普勒矩阵Sum(k,j)进行CFAR(恒虚警率)算法处理，得到每一帧的目标个数Num_detected。

10)计算距离多普勒矩阵Sum(k,j)中正多普勒能量和Pos_Energy和负多普勒能量Neg_Energy。

11)将3)中得到的距离质心Range_Weight、多普勒质心Doppler_Weight、瞬时能量Energy以及10)中得到的正多普勒能量Pos_Energy和负多普勒能量Pos_Energy进行预处理。

12)计算每一帧中手部合成点向量随时间的空间矢量变化Derivative_sub(T)以及Derivative_vector(T)。

13)计算正多普勒能量Pos_Energy和负多普勒能量Pos_Energy的相关性Pos_Neg_Energy_corr(T)。

14)将3)中得到的距离质心Range_Weight、多普勒质心Doppler_Weight、11)中得到的瞬时能量Energy、5)中得到的方位角Azimuth和俯仰角Elevation和6)中得到的Azi_Dop_corr、7)中得到的Ele_Dop_corr、8)中得到的Azi_Ele_corr、9)中得到的Num_detected、10)中得到的Pos_Energy和Neg_Energy、13)中得到的Pos_Neg_Energy_corr(T)、12)中得到的Derivative_sub(T)以及Derivative_vector(T)同步手势类别标签，构建手势数据集。

15)将数据集中描述手势运动的特征数据分别送入卷积神经网络和LSTM(长短时记忆网络)联合的网络模型中，进行模型训练和特征提取。

16)将测试手势数据集输入到训练好的网络模型中进行分类，得到手势分类结果y。