CN109829509A - 基于融合神经网络的雷达手势识别方法 - Google Patents

Abstract

本发明公布了一种基于融合神经网络的雷达手势识别方法，首先，利用二维快速傅立叶变换(Fast Fourier Transform,FFT)求取手势回波中频信号的频谱，采用谱峰估计计算出手势目标的距离和速度参数，并利用多重信号分类(Multiple Signal Classification,MUSIC)方法计算角度参数。其次，利用这三维参数在时间上的累积，将一个完整手势动作映射为多帧距离‑速度矩阵图和角度时间图。然后，利用手势参数图，建立融合神经网络。最后，利用融合神经网络进行手势特征提取和特征融合，并通过全连接层对手势特征进行分类。

Description

基于融合神经网络的雷达手势识别方法

技术领域

本发明属于手势识别技术，具体涉及一种基于融合神经网络的雷达手势识别方法。

背景技术

手势识别作为人机交互的重要组成部分，其研究发展影响着人机交互的自然性和灵活性并且在各个领域广泛应用。在家庭娱乐方面，根据用户在游戏环境中左右挥动等动作来控制游戏中的角色，使得用户体验效果更好。在智能驾驶方面，由于司机在驾驶过程中可能被车载导航系统电话系统分散注意力，可以通过识别驾驶员手势动作完成对导航系统以及车载娱乐系统的控制，提高驾驶的安全性。

在无线技术的手势识别中，主要利用无线设备采集手势信号，再通过信号处理分析手势信号中的频域信息，提取手势的运动参数，然后通过聚类、动态时间规整和隐马尔可夫模型等方法进行识别。该方法的信号来源包括雷达信号、超带宽(Ultra-WideBand，UWB)和无线信道状态信息。利用无线信道状态信息和太赫兹雷达信号获取数据源，并利用手势径向速度表征手势行为，避免了光照等非视距影响。但在每一时刻直接计算一个距离标量值来表示手势特征信息，使得特征提取不全，从而降低了手势识别的准确率。

总之，基于无线电的手势识别方法，由于数据特征信息不全，使得手势识别精度较低。基于上述分析，本发明提出了一种基于调频连续波(FrequencyModulatedContinuousWave，FMCW)雷达多参数图像的融合神经网络手势识别方法

发明内容

本发明的目的是提供一种基于融合神经网络的雷达手势识别方法，它能有效的解决传统手势识别中特征不全的问题，且能实现多种手势的精确分类。

本发明所述的基于融合神经网络的雷达手势识别方法，包括以下步骤：

步骤一、将发射信号和接收信号输入到混频器，通过低通滤波器滤除高频部分，再经过采样和基带信号处理后得到中频信号S_IF(t)和中频信号频率f_IF。

步骤二、根据中频信号计算手势目标的距离d和速度v。

步骤三、对中频信号128个脉冲周期采样64个点进行快速傅里叶变换，将结果中同一频点的复信号生成一个新的频移信号，进而再对此信号进行FFT得到多普勒频移f_FFT，从而可以生成手势的距离-速度图。

步骤四、根据MUSIC算法估计手势目标的角度θ。

步骤五、对雷达发送的每一帧信号估计按照步骤四计算角度，将计算结果按时间顺序构成一个角度时间图，如图4所示。

步骤六、将生成的距离-速度图预处理为深度学习网络的输入数据X_input，并初始化三维卷积神经网络权重。

步骤七、将输入信号矩阵X_input1进行卷积池化操作获取初步的浅层特征结果，得到池化矩阵P_ool1。

步骤八、将池化矩阵P_ool1重复步骤七中的卷积核池化操作，设置卷积核个数n_kernel2，得到表示特征图的池化结果P_ool2。

步骤九、对池化结果P_ool2进行进一步的卷积池化以提取深度特征结果，得到池化矩阵P_ool3。

步骤十、将池化矩阵P_ool3按照步骤十一重复两次进行卷积核池化操作，得到n_kernel5个f₁′×m′₁×n′₁维的特征映射图P_ool5，其中f₁′表示特征图帧数，m′₁和n′₁分别表示特征图的宽和高。本实验中f₁′＝1，m′₁＝2，n′₁＝4。

步骤十一、将n_kernel5个f₁′×m′₁×n′₁维的特征映射图F_eat5维度转置得到s₁×s₂维的特征向量X_feature1，其中s₁和s₂分别表示特征向量的维度和长度。本实验中s₁＝1，s₂＝1024。

步骤十二、将生成的角度时间图预处理为深度学习网络的输入数据X_input2，并初始化二维卷积神经网络权重。

步骤十三、将输入矩阵信号X_input2根据步骤十二中的卷积核参数，重复步骤七中的卷积核池化操作，得到表示维度为f′₂×m′₂×n′₂的特征映射图F_eat，其中f′₂表示特征图帧数，m′₂和n′₂分别表示特征图的宽和高。

步骤十四、将n_kernel12个的特征映射图F_eat维度转置得到s₃×s₄维的特征向量X_feature2，其中s₃和s₄分别表示特征向量的维度和长度。本实验中s₃＝1，s₄＝1024。步骤十五、将两组向量X_feature1和X_feature2并联组成融合特征向量，融合特征向量长度为的l_en特征向量中，每一步的维度为s_tep。本实验中l_en＝1024，s_tep＝2。步骤十六、设置长短期记忆网络(LongShort-TermMemory，LSTM)的输入层为上一步骤中时间步长为l_en输入维数为s_tep的融合特征向量X_fu，令X＝X_fu，其中X的步长为l_en。

步骤十七、根据长短记忆网络的输入X，计算网络中输入门I、忘记门F、输出门O和候选隐藏状态G。

步骤十八、同过LSTM各个门计算网络隐层中最后一步的h×1维隐藏状态S_s1，并作为特征结果X′_feature。

步骤十九、将最终形如X′_feature＝[x₁ x₂...x_h]^T的特征结果送入归一化指数函数进行计算结果矩阵得到结果矩阵中值最大的角标y′＝max(X_res)，结果矩阵X_res的K个标量中第j个值表示中频信号矩阵A被融合神经网络模型判别为第j类手势的概率，y′表示输入被判别为某一类手势的结果。

所述步骤一包括以下步骤：

1.1根据雷达的硬件参数，计算FMCW雷达发射的锯齿波信号S_TX(t)为：

其中，t表示雷达发射信号的时间，是发射信号频率随着时间变化的线性函数，f_c是载波频率，B是带宽，A_TX是发射信号的幅值，T是信号周期。

1.2发射信号经过时延后，计算接收端的频移Δφ为

其中，v是手势相对雷达的径向运动速度，R₀是在时间t＝0时手势与雷达的距离，c为光速，A_RX是接收信号的幅值，λ是雷达信号的波长。

1.3根据频移Δφ，计算接收信号的频率f_R(t)为

1.4将频移Δφ和接收信号频率f_R(t)代入发射信号，计算接收信号S_RX(t)为

其中，A_RX是接收信号的幅值。

1.5将发射信号S_TX(t)和接收信号S_RX(t)输入到混频器，并经低通滤波器滤除高频后得到中频信号S_IF(t)，具体为

其中，A_IF是中频信号的幅值。

1.6计算中频信号频率f_IF为：

所述步骤四包括以下步骤：

4.1雷达发射一帧信号后第一个目标的接收信号为S₁(t)，则K个目标的接收信号为S(t)＝[S₁(t) S₂(t)...S_K(t)]^T。由于阵元之间的间隔为d，设第K个目标的角度为θ_K，则所有K个目标接收信号的导向矢量阵A为

其中，M表示阵元数，exp(·)表示指数函数。

4.2计算最终的接收信号X(t)为

X(t)＝AS(t)+N(t)

其中，N(t)＝[n₁(t)n₂(t)...n_M(t)]^T为每个阵元的噪声向量。

4.3计算X(t)的协方差矩阵R＝E{X(t)X^H(t)}，对其进行特征分解，得到特征向量v_i(i＝1,2,...,M)。其中M-K个特征值为σ²，即R是M-K重的。

4.4令E_N＝[v₁ v₂...v_M]^T，而由此构造空间谱函数P_{M USIC}(θ)如下：

4.5对空间谱函数P_{M USIC}(θ)进行谱峰搜索，求出其中K个极大值所对应的θ即为信号源的方向。

所述步骤七包括以下步骤：

7.1将输入矩阵信号X_input1中每个k_ernel×k_ernel区域矩阵与n_kernel1个卷积核矩阵K₁进行卷积相乘，生成表示从矩阵信号X_input1中提取到的浅层特征的特征映射图F_eat1，本实验中n_kernel1＝64。

7.2将特征映射图F_eat1矩阵在每个k_pool×k_pool区域矩阵内，用该区域中的最大值代表原来的k_pool×k_pool区域矩阵，生成表示将特征映射图F_eat1信息压缩后的池化矩阵P_ool1。

所述步骤十七包括以下步骤：

17.1随机初始化步长为l_en的X中第一步X₁的状态变量为S_state，设置网络中隐层LSTM单元节点数为h，本实验中h＝4096。

17.2计算X总步长为l_en中每一步的输入门I、忘记门F和输出门O并求其隐层状态S，其中X的第s步计算结果具体形式如下：

其中S_s-1为第s-1步的状态变量，Uⁱ、Wⁱ、U^f、W^f、U^o和W^o为随机初始化的权重矩阵，δ(·)表示sigmoid函数，

17.3计算候选隐藏状态G＝tanh(X_sU^g+S_s-1W^g)，内部存储器的细胞状态C_s＝C_s-1×F+G×I，以及第s步的输出隐层状态为S_s＝tanh(C_s)×O，其中U^g和W^g为随机初始化的权重参数。其中，tanh(·)表示双曲正切函数，

本发明具有以下优点：本发明基于调频连续波雷达多参数图像的融合神经网络手势识别方法，该方法首先获取雷达发射天线和接收天线的混频信号，并求取手势的距离和速度。根据MUSIC计算手势的角度，将距离和速度映射到同一幅图中，即距离-速度图，并通过信号的时间顺序将距离-速度图和角度图生成序列，形成三维距离-速度时间图和二维角度时间图。然后设计卷积神经网络分别对距离-速度时间图和角度时间图进行特征提取，得到两个能够独立表示手势的特征向量。最后将特征向量进行并联融合，并利用LSTM进行时序特征提取后，采用归一化指数函数对提取到的手势特征进行分类以达到更好的分类效果。

附图说明

图1为雷达信号处理流程；

图2为距离-速度图的处理过程；

图3为步骤三中的距离-速度图；

图4为步骤五中的角度时间图；

图5为融合神经网络对两种参数图的特征处理和分类流程图；

图6为三维卷积神经网络中的卷积方式；

图7为三维卷积神经网络的池化操作；

图8为长短记忆网络的网络结构图；

图9为长短记忆网络单元各个门的具体情况；

具体实施方式

步骤一、将发射信号和接收信号输入到混频器，通过低通滤波器滤除高频部分，再经过采样和基带信号处理后得到中频信号S_IF(t)和中频信号频率f_IF。具体步骤如下：

1.1根据雷达的硬件参数，计算FMCW雷达发射的锯齿波信号S_TX(t)为

其中，t表示雷达发射信号的时间，是发射信号频率随着时间变化的线性函数，f_c是载波频率，B是带宽，A_TX是发射信号的幅值，T是信号周期。

1.2发射信号经过时延后，计算接收端的频移Δφ为

其中，v是手势相对雷达的径向运动速度，R₀是在时间t＝0时手势与雷达的距离，c为光速，A_RX是接收信号的幅值，λ是雷达信号的波长。

1.3根据频移Δφ，计算接收信号的频率f_R(t)为

1.4将频移Δφ和接收信号频率f_R(t)代入发射信号，计算接收信号S_RX(t)为

其中，A_RX是接收信号的幅值。

1.5将发射信号S_TX(t)和接收信号S_RX(t)输入到混频器，并经低通滤波器滤除高频后得到中频信号S_IF(t)，具体为

其中，A_IF是中频信号的幅值。

1.6计算中频信号频率f_IF为：

步骤二、根据中频信号S_IF(t)和中频信号频率f_IF计算手势目标的距离d和速度v，具体步骤如下：

2.1计算手势到雷达的距离d为

2.2对中频信号进行二维快速傅立叶变换，得到每个脉冲的多普勒频移f_FFT。

2.3计算手势的速度v为：

步骤三、对中频信号128个脉冲周期采样64个点进行快速傅里叶变换，将结果中同一频点的复信号生成一个新的频移信号，进而再对此信号进行FFT得到多普勒频移f_FFT，从而可以生成手势的距离-速度图。具体操作如图2所示，生成的距离-速度图如图3所示。

步骤四、根据MUSIC算法估计手势目标的角度θ，具体计算步骤如下：

4.1雷达发射一帧信号后第一个目标的接收信号为S₁(t)，则K个目标的接收信号为S(t)＝[S₁(t) S₂(t)...S_K(t)]^T。由于阵元之间的间隔为d，设第K个目标的角度为θ_K，则所有K个目标接收信号的导向矢量阵A为

其中，M表示阵元数，exp(·)表示指数函数。

4.2计算最终的接收信号X(t)为

X(t)＝AS(t)+N(t)

其中，N(t)＝[n₁(t) n₂(t)...n_M(t)]^T为每个阵元的噪声向量。

4.3计算X(t)的协方差矩阵R＝E{X(t)X^H(t)}，对其进行特征分解，得到特征向量v_i(i＝1,2,...,M)。其中M-K个特征值为σ²，即R是M-K重的。

4.4令E_N＝[v₁ v₂...v_M]^T，而由此构造空间谱函数P_{M USIC}(θ)如下：

4.5对空间谱函数P_{M USIC}(θ)进行谱峰搜索，求出其中K个极大值所对应的θ即为信号源的方向。

步骤五、对雷达发送的每一帧信号估计按照步骤四计算角度，将计算结果按时间顺序构成一个角度时间图，如图4所示。

步骤六、将生成的距离-速度图预处理为深度学习网络的输入数据X_input，并初始化三维卷积神经网络权重，具体步骤如下：

6.1将生成的f个距离-速度图合并为维度f×m₁×n₁的固定三维输入信号矩阵X_input1，其中f₁表示输入矩阵X_input1的帧数，m₁和n₁分别表示矩阵X_input1的宽和高。

6.2随机生成维度为k_ernel×k_ernel×k_ernel表示网络权重的卷积核矩阵K₁、K₂、K₃、K₄、K₅、K₆、K₇和K₈各n_kernel1、n_kernel2、n_kernel3、n_kernel4、n_kernel5、n_kernel6、n_kernel7和n_kernel8个，本实验中n_kernel1＝64，n_kernel2＝128，n_kernel3＝256，n_kernel4＝256，n_kernel5＝512，n_kernel6＝512，n_kernel7＝512，n_kernel8＝512。

步骤七、将输入信号矩阵X_input1进行卷积池化操作获取初步的浅层特征结果，得到池化矩阵P_ool1。

7.1将输入矩阵信号X_input1中每个k_ernel×k_ernel区域矩阵与n_kernel1个卷积核矩阵K₁进行卷积相乘，生成表示从矩阵信号X_input1中提取到的浅层特征的特征映射图F_eat1，具体卷积操作如图7，本实验中n_kernel1＝64。

7.2将特征映射图F_eat1矩阵在每个k_pool×k_pool区域矩阵内，用该区域中的最大值代表原来的k_pool×k_pool区域矩阵，生成表示将特征映射图F_eat1信息压缩后的池化矩阵P_ool1，具体操作如图8。

步骤八、将池化矩阵P_ool1重复步骤七中的卷积核池化操作，设置卷积核个数n_kernel2，得到表示特征图的池化结果P_ool2。

步骤九、对池化结果P_ool2进行进一步的卷积池化以提取深度特征结果，得到池化矩阵P_ool3，具体步骤如下：

9.1将池化矩阵P_ool2与卷积核矩阵K₃进行卷积操作，生成特征映射图F_eat3，再与卷积矩阵K₄卷积，生成特征映射图F_eat4，再将F_eat4进行池化，将特征压缩为P_ool3。

步骤十、将池化矩阵P_ool3按照步骤九重复两次进行卷积核池化操作，得到n_kernel5个f₁′×m′₁×n′₁维的特征映射图P_ool5，其中f₁′表示特征图帧数，m′₁和n′₁分别表示特征图的宽和高。本实验中f₁′＝1，m′₁＝2，n′₁＝4。

步骤十一、将n_kernel5个f₁′×m′₁×n′₁维的特征映射图F_eat5维度转置得到s₁×s₂维的特征向量X_feature1，其中s₁和s₂分别表示特征向量的维度和长度。本实验中s₁＝1，s₂＝1024，其中f′₂表示特征图帧数，m′₂和n′₂分别表示特征图的宽和高。

步骤十二、将生成的角度时间图预处理为深度学习网络的输入数据X_input2，并初始化二维卷积神经网络权重，具体步骤如下：

12.1将生成的角度时间图合并为维度m₂×n₂的固定二维输入信号矩阵X_input2，其中m₂和n₂分别表示矩阵X_input2的宽和高。

12.2随机生成维度为k_ernel×k_ernel表示网络权重的卷积核矩阵K₉、K₁₀、K₁₁和K₁₂各n_kernel9、n_kernel10、n_kernel11和n_kernel12个，本实验中n_kernel9＝64，n_kernel10＝128，n_kernel11＝256，n_kernel12＝512。

步骤十三、将输入矩阵信号X_input2根据步骤十二中的卷积核参数，重复步骤七中的卷积核池化操作，得到表示维度为f′₂×m′₂×n′₂的特征映射图F_eat。

步骤十四、将n_kernel12个的特征映射图F_eat维度转置得到s₃×s₄维的特征向量X_feature2，其中s₃和s₄分别表示特征向量的维度和长度。本实验中s₃＝1，s₄＝1024。步骤十五、将两组向量X_feature1和X_feature2并联组成融合特征向量，融合特征向量长度为的l_en特征向量中，每一步的维度为s_tep。本实验中l_en＝1024，s_tep＝2。步骤十六、设置长短期记忆网络(LongShort-TermMemory，LSTM)的输入层为上一步骤中时间步长为l_en输入维数为s_tep的融合特征向量X_fu，令X＝X_fu，其中X的步长为l_en，长短期记忆网络结构图如图9。

步骤十七、根据长短记忆网络的输入X，计算网络中输入门I、忘记门F、输出门O和候选隐藏状态G，具体步骤如下：

17.1随机初始化步长为l_en的X中第一步X₁的状态变量为S_state，设置网络中隐层LSTM单元节点数为h，本实验中h＝4096。

17.2计算X总步长为l_en中每一步的输入门I、忘记门F和输出门O并求其隐层状态S，其中X的第s步计算结果具体形式如下：

其中S_s-1为第s-1步的状态变量，Uⁱ、Wⁱ、U^f、W^f、U^o和W^o为随机初始化的权重矩阵，δ(·)表示sigmoid函数，

17.3计算候选隐藏状态G＝tanh(X_sU^g+S_s-1W^g)，内部存储器的细胞状态C_s＝C_s-1×F+G×I，以及第s步的输出隐层状态为S_s＝tanh(C_s)×O，其中U^g和W^g为随机初始化的权重参数。其中，tanh(·)表示双曲正切函数，

步骤十八、同过LSTM各个门计算网络隐层中最后一步的h×1维隐藏状态并作为特征结果X′_feature。

步骤十九、将最终形如X′_feature＝[x₁x₂...x_h]^T的特征结果送入归一化指数函数进行计算结果矩阵得到结果矩阵中值最大的角标y′＝max(X_res)，结果矩阵X_res的K个标量中第j个值表示中频信号矩阵A被融合神经网络模型判别为第j类手势的概率，y′表示输入被判别为某一类手势的结果。

Claims (3)

1.基于融合神经网络的雷达手势识别方法，其特征在于，包括以下步骤：

步骤一、将发射信号和接收信号输入到混频器，通过低通滤波器滤除高频部分，再经过采样和基带信号处理后得到中频信号S_IF(t)和中频信号频率f_IF。

步骤二、根据中频信号S_IF(t)和中频信号频率f_IF计算手势目标的距离d和速度v。

步骤三、对中频信号128个脉冲周期采样64个点进行快速傅里叶变换，将结果中同一频点的复信号生成一个新的频移信号，进而再对此信号进行FFT得到多普勒频移f_FFT，从而可以生成手势的距离-速度图。

步骤四、根据MUSIC算法估计手势目标的角度θ。

步骤五、对雷达发送的每一帧信号估计按照步骤四计算角度，将计算结果按时间顺序构成一个角度时间图。

步骤六、将生成的距离-速度图预处理为深度学习网络的输入数据X_input，并初始化三维卷积神经网络权重。

步骤七、将输入信号矩阵X_input1进行卷积池化操作获取初步的浅层特征结果，得到池化矩阵P_ool1。

步骤八、将池化矩阵P_ool1重复步骤七中的卷积核池化操作，设置卷积核个数n_kernel2，得到表示特征图的池化结果P_ool2。

步骤九、对池化结果P_ool2进行进一步的卷积池化以提取深度特征结果，得到池化矩阵P_ool3。

步骤十、将池化矩阵P_ool3按照步骤十一重复两次进行卷积核池化操作，得到n_kernel5个f₁′×m′₁×n′₁维的特征映射图P_ool5，其中f₁′表示特征图帧数，m′₁和n′₁分别表示特征图的宽和高。本实验中f₁′＝1，m′₁＝2，n′₁＝4。

步骤十一、将n_kernel5个f₁′×m′₁×n′₁维的特征映射图F_eat5维度转置得到s₁×s₂维的特征向量X_feature1，其中s₁和s₂分别表示特征向量的维度和长度。本实验中s₁＝1，s₂＝1024。

步骤十二、将生成的角度时间图预处理为深度学习网络的输入数据X_input2，并初始化二维卷积神经网络权重。

步骤十三、将输入矩阵信号X_input2根据步骤十二中的卷积核参数，重复步骤七中的卷积核池化操作，得到表示维度为f′₂×m′₂×n′₂的特征映射图F_eat，其中f′₂表示特征图帧数，m′₂和n′₂分别表示特征图的宽和高。

步骤十四、将n_kernel12个的特征映射图F_eat维度转置得到s₃×s₄维的特征向量X_feature2，其中s₃和s₄分别表示特征向量的维度和长度。本实验中s₃＝1，s₄＝1024。

步骤十五、将两组向量X_feature1和X_feature2并联组成融合特征向量，融合特征向量长度为的l_en特征向量中，每一步的维度为s_tep。本实验中l_en＝1024，s_tep＝2。

步骤十六、设置长短期记忆网络(Long Short-Term Memory，LSTM)的输入层为上一步骤中时间步长为l_en输入维数为s_tep的融合特征向量X_fu，令X＝X_fu，其中X的步长为l_en。

步骤十七、根据长短记忆网络的输入X，计算网络中输入门I、忘记门F、输出门O和候选隐藏状态G。

步骤十八、通过LSTM各个门计算网络隐层中最后一步的h×1维隐藏状态S_s1，并作为特征结果X′_feature。

步骤十九、将最终形如X′_feature＝[x₁ x₂...x_h]^T的特征结果送入归一化指数函数进行计算结果矩阵得到结果矩阵中值最大的角标y′＝max(X_res)，结果矩阵X_res的K个标量中第j个值表示中频信号矩阵A被融合神经网络模型判别为第j类手势的概率，y′表示输入被判别为某一类手势的结果。

2.根据权利要求1所述的基于融合神经网络的雷达手势识别方法，其特点在于分别设计了一个三维卷积神经网络和一个二维卷积神经网络分别对距离-速度图和角度时间图进行特征提取。

3.根据权利要求1或2所述的基于融合神经网络的雷达手势识别方法，其特征在于将距离-速度图和角度时间图对应的两组向量并联组成融合特征向量，由此进行分类。