CN108509910A - 基于fmcw雷达信号的深度学习手势识别方法 - Google Patents

Abstract

本发明公布了一种基于雷达信号的深度学习手势识别方法，首先通过雷达获取每一种手势的中频信号，并从中提取每一根发射天线和接收天线下的中频信号矩阵；其次，利用傅里叶变换对信号频率进行提取，得到信号中的距离和速度信息并且将数据进行预处理；然后，建立三维卷积神经网络和长短记忆网络，将处理后的雷达信号输入到网络进行训练；最后，根据深度学习网络提取的特征进行手势识别。本发明方法解决了传统识别算法使用条件受限以及鲁棒性差的问题，且能实现多种手势的精确分类。

Description

基于FMCW雷达信号的深度学习手势识别方法

技术领域

本发明属于手势识别技术，具体涉及一种基于雷达信号的深度学习手势识别方法。

背景技术

在人机交互迅猛发展的时代，手势识别作为其极其重要的研究领域，已经引起了世界各国的高度重视。在手势识别初期，人们主要着重于基于传感器(Sensor)，特别是基于数据手套(Data Glove)的手势识别研究。当时，研究人员佩戴一个集成了各种功能传感器的“手套”。该设备另一端连接到计算机，计算机可以获取到手的位置信息、手指的伸展信息等，从而进行手势的识别。后来随着计算机视觉的发展，基于视觉的人体手势识别研究成为实现新一代人机交互的一项关键技术，该技术主要是利用摄像头去采集人体手势动作的图像或视频，通过图像处理技术和计算机视觉的方法识别人体手势。

但以上手势识别技术一般都有很大的使用限制，首先，传统手势识别方法需要对特定的手势设计相应的特征，当更换手势动作时，相应的特征和权重也需要随之调整，而且上述方法的学习能力有限且算法鲁棒性较差；第二，摄像头在昏暗的光下很难捕捉到清晰图像，这样导致识别应用场景受到了很大的限制。

为了解决上述问题且为了对手势实现精确的分类，本发明提出了一种新的基于雷达信号的手势识别方法。

发明内容

本发明的目的是提供一种基于雷达信号和深度学习的手势分类方法，它能有效的解决传统识别使用环境受限以及算法鲁棒性差的问题，且能实现多种手势的精确分类。

本发明所述的基于雷达信号和深度学习的手势分类方法，包括以下步骤：

步骤一、设计手掌前推、后拉、左摆、右摆、前后推拉和左右挥动六个手势动作，并且利用调频连续波(Frequency Modulated Continuous Wave，FMCW)雷达采集训练和测试手势数据集的雷达源数据文件生成原始的中频信号矩阵A，

从原始中频信号矩阵A中提取某一发射天线和接收天线对应的帧信号矩阵F_k。

步骤二、构造汉明窗W_hanming，并将其与帧信号矩阵F_k进行旁瓣抑制处理得到帧信号矩阵F_k′。

步骤三、将帧信号矩阵F_k′的每一列信号F_k′_c进行傅里叶变换生成距离信号矩阵S_k。

步骤四、根据距离信号矩阵S_k中的频率分量计算信号所表示的实际距离，得到信号幅值矩阵R_k。

步骤五、将帧信号矩阵S_k的每一行行矩阵信号S_kr进行傅里叶变换，生成速度信号矩阵S′_k。

步骤六、根据速度信号矩阵S′_k中频率分量计算信号所表示的实际速度，得到信号幅值矩阵R′_k。

步骤七、计算信号序列B中各帧信号{B₁ ... B_i ... B_f}(1≤i≤f)包含手势速度和距离信息的幅值矩阵(R₁ R₂ ... R_f)。

步骤八、将生成的幅值矩阵(R₁ R₂ ... R_f)预处理为深度学习网络的输入数据X_input，并初始化网络权重。

步骤九、将输入信号矩阵X_input进行卷积池化操作获取初步的浅层特征结果，得到池化矩阵P_ool1。

步骤十、将池化矩阵P_ool1重复步骤九中的卷积核池化操作，设置卷积核个数n_kernel2，得到表示特征图的池化结果P_ool2。

步骤十一、对池化结果P_ool2进行进一步的卷积池化，提取深度特征结果，得到池化矩阵P_ool3。

步骤十二、将P_ool3按照步骤十一重复两次进行卷积核池化操作，得到n_kernel5个f′×m′×n′维的特征映射图P_ool5。

步骤十三、将n_kernel5个f′×m′×n′维的特征映射图F_eat5维度转置得到s₁×s₂维的特征向量X_feature。

步骤十四、设置长短期记忆网络(Long Short-Term Memory，LSTM)的输入层为上一步骤中时间步长为s₁输入维数为s₂的特征向量X_feature，令X＝X_feature，其中X的步长为s₁，长短期记忆网络结构图如图9。

步骤十五、根据长短记忆网络的输入X，计算网络中输入门I、忘记门F、输出门O和候选隐藏状态G。

步骤十六、同过LSTM各个门计算网络隐层中最后一步的h×1维隐藏状态并作为特征结果X′_feature。

步骤十七、将最终形如X′_feature＝[x₁ x₂ ... x_h]^T的特征结果送入归一化指数函数进行计算结果矩阵X_res，得到结果矩阵中值最大的角标y′＝max(X_res)，结果矩阵X_res的K个标量中第j个值表示中频信号矩阵A被三维卷积神经网络模型判别为第j类手势的概率，y′表示中频信号矩阵A被判别为某一类手势的结果。

步骤十八、根据网络判断的结果分类y′，计算分类结果的损失函数J(θ)，并根据此分类函数对网络中的权重进行更新。

步骤十九、将测试手势数据集输入到步骤十八得到的深度学习网络中分类，得到手势分类结果y′。

所述步骤六包括以下步骤：

6.1提取在速度信号矩阵S′_k的每个行矩阵信号S′_kr中的相同频率分量组成列矩阵信号S′_kc，具体形式如下：

S′_kc＝[c′_k+c+d′_k+ci c′_k+n+c+d′_k+n+ci ... c′_k+(m-1)n+c+d′_k+(m-1)n+ci]^T(c＝1,2,3,…,n)

6.2计算列矩阵信号S′_kc在采样率R下的各个频率分量

6.3计算列信号矩阵S′_ks下频率分量为f_s时手势相对雷达的径向速度其中λ为波长，T_c为雷达产生信号矩阵B的时间。

6.4将上一步骤计算出的n个速度v_s(s＝1,2,3,…,n)按照步骤十八中n个的频率分量f_c比例生成速度矩阵Y，具体为：

Y＝[v₁ v₂ ... v_n]^T

6.5对速度信号矩阵S′_k的每个元素求幅值，得到结果幅值矩阵R′_k，具体如下：

所述步骤九包括以下步骤：

9.1将输入矩阵信号X_input中每个k_ernel×k_ernel区域矩阵与n_kernel1个卷积核矩阵K₁进行卷积相乘，生成表示从矩阵信号X_input中提取到的浅层特征的特征映射图F_eat1，具体卷积操作如图7。

9.2将特征映射图F_eat1矩阵在每个k_pool×k_pool区域矩阵内，用该区域中的最大值代表原来的k_pool×k_pool区域矩阵，生成表示将特征映射图F_eat1信息压缩后的池化矩阵P_ool1，具体操作如图8。

所述步骤十五包括以下步骤：

15.1随机初始化步长为s₁的X中第一步X₁的状态变量为S_state，设置网络中隐层LSTM单元节点数为h。

15.2计算X总步长为s₁中每一步的输入门I、忘记门F和输出门O并求其隐层状态S，其中X的第t步计算结果具体形式如下：

其中S_t-1为第t-1步的状态变量，Uⁱ、Wⁱ、U^f、W^f、U^o和W^o为随机初始化的权重矩阵。

15.3计算候选隐藏状态G＝tanh(X_tU^g+S_t-1W^g)，内部存储器的细胞状态C_t＝C_t-1×F+G×I，以及第t步的输出隐层状态为S_t＝tanh(C_t)×O，其中U^g和W^g为随机初始化的权重参数。本发明具有以下优点：本发明首先通过雷达获取各种手势的信号，并从中提取每种手势的运动参数，并按照时间顺序生成一个序列；然后，利用深度学习网络对采集的序列数据进行特征提取，得到特征向量；其次，为了更好的利用原序列数据中的连续性信息，根据特征向量的时间维度，将其送入长短记忆网络进行训练；最后，将最终的特征向量送入分类函数，得到分类结果。本发明方法采用雷达信号作为数据来源，适用场景广泛，无需考虑光照等外界因素。本发明利用深度学习网络针对源数据的特点进行特征提取，以达到更好地手势分类效果。

附图说明

图1为本发明的整体流程图；

图2为本发明中设计识别的具体手势；

图3为步骤十一中的距离信号矩阵S_k的目标距离仿真图；

图4为步骤十六中的速度信号矩阵S′_k的目标速度仿真图；

图5为步骤二十结果幅值矩阵R′_k仿真出的速度距离图；

图6为三维卷积神经网络和长短记忆网络的结构；

图7为三维卷积神经网络中的卷积方式；

图8为三维卷积神经网络的池化操作；

图9为长短记忆网络的网络结构图；

图10为长短记忆网络单元各个门的具体情况；

具体实施方式

步骤一、设计手掌前推、后拉、左摆、右摆、前后推拉和左右挥动六个手势动作，并且利用调频连续波(Frequency Modulated Continuous Wave，FMCW)雷达采集训练和测试手势数据集的雷达源数据文件生成原始的中频信号矩阵A：

从原始中频信号矩阵A中提取某一发射天线和接收天线对应的帧信号矩阵F_k，其中u表示矩阵A维度总长的一半，本实验中u＝2097152。具体步骤如下：

1.1利用原始中频信号矩阵A生成中频复数信号列矩阵B，令B中第j个元素a_j+b_ji的实部a_j和虚部b_j b等于A中第2×j和2×j+1个元素，具体为：

1.2将在原始中频信号矩阵A中表示一帧中频信号的列矩阵B拆为f帧{B₁ ... B_i... B_f}(1≤i≤f)，使得中频信号矩阵A中的第i帧帧信号B_i(1≤i≤f)为列矩阵B中的第i×l+1个元素到第(i+1)×l个元素，具体为：

其中f表示原始的中频信号矩阵A中信号的总帧数，l表示每一帧信号的长度，本实验中f＝8，l＝65536。

1.3将雷达的每根发射天线与每根接收天线成对相组合，计算出组合的总数为t＝t₁×t₂，其中t表示发射天线和接收天线组合的总对数，t₁为雷达的发射天线数目，t₂为雷达接收天线数目，本实验中t＝8，t₁＝2，t₂＝4。

1.4将帧信号B_i拆为t对发射接收天线生成的帧信号序列{B_i1 ... B_ij ... B_it}(1≤j≤t)，第i帧帧信号B_i中第j个天线对对应的单对天线帧信号B_ij具体为：

其中p表示每一对天线对应的单对天线帧信号B_ij的长度，本实验中p＝8192。

1.5令信号矩阵A中每个帧信号的初始角标k＝i×l+p×j，使得信号矩阵A中的第i帧第j对天线对应的单对天线帧信号为B_k＝B_ij，具体如下：

1.6将单对天线帧信号B_k重塑为m×n维的帧信号矩阵F_k，具体如下：

其中m为帧信号矩阵F_k的调频连续脉冲数目，n为F_k中每一行信号的采样点数目，本实验中m＝64，n＝128。

步骤二、构造汉明窗W_hanming如下：

其中c₁和c₂为汉明窗参数，本实验中c₁＝0.54，c₂＝0.46，并将其与帧信号矩阵F_k进行旁瓣抑制处理得到帧信号矩阵F_k′，具体步骤如下：

2.1将步骤一得到的帧信号矩阵F_k中的每一列信号与汉明窗W_hanming相乘，得到一个主瓣更为集中的帧信号矩阵F_k′，F_k′形式如下：

步骤三、将帧信号矩阵F_k′的每一列信号F′_kc进行傅里叶变换生成距离信号矩阵S_k，具体步骤如下：

3.1将帧信号矩阵F_k′的每一列进行傅里叶变换得到由频率与目标到雷达的距离成正比的列矩阵信号：

3.2将n个频率与目标到雷达的距离成正比的列矩阵信号S_kc组成距离信号矩阵S_k，具体形式如下：

步骤四、根据距离信号矩阵S_k中的频率分量计算信号所表示的实际距离，得到信号幅值矩阵R_k，具体计算步骤如下：

4.1提取距离信号矩阵S_k的每个列矩阵信号S_kc中的相同的频率分量，组成行矩阵信号：

S_kr＝[c_k+(r-1)n+1+d_k+(r-1)n+1 c_k+(r-1)n+2+d_k+(r-1)n+2 ... c_k+rn+d_k+rn](r＝1,2,3,…,m)

计算由每个调频连续脉冲中相同频点组成的行矩阵信号S_kr在采样率R下的频率本实验中R＝2000ks/ps。

4.2由行矩阵信号S_kr的频率分量为f_r计算雷达生成帧信号矩阵F_k′时前方目标手势的距离d_r＝2S×f_r/C(r＝1,2,3,…,m)，其中S为雷达每个锯齿波频率随着时间增大的斜率，C为光速，本实验中S＝105.202MHz/us，C＝3×10⁸m/s。

4.3将上述步骤中行矩阵信号S_kr下m个不同频率分量f_r计算出的距离d_r(r＝1,2,3,…,m)组成一个与雷达信号采样率频率f_s均分为m个频率分量f_r成正比的距离矩阵X，具体为：

X＝[d₁ d₂ ... d_m]^T

4.4对距离信号矩阵S_k的每个元素求幅值，得到信号幅值矩阵R_k，具体如下：

步骤五、将帧信号矩阵S_k的每一行行矩阵信号S_kr进行傅里叶变换，生成速度信号矩阵S′_k，具体步骤如下：

5.1对所述步骤三计算出的距离信号矩阵S_k的每一行行矩阵信号S_kr＝[c_k+(r-1)n+1+d_k+(r-1)n+1i c_k+(r-1)n+2+d_k+(r-1)n+2i ... c_k+rn+d_k+rni](r＝1,2,3,…,m)做傅里叶变换：

5.2得到频率与目标相对雷达的速度成正比的行矩阵信号S′_kr后，将其组成的速度信号矩阵S′_k，具体形式如下：

步骤六、根据速度信号矩阵S′_k中频率分量计算信号所表示手势相对雷达的径向速度，得到信号幅值矩阵R′_k，具体计算步骤如下：

6.1提取在速度信号矩阵S′_k的每个行矩阵信号S′_kr中的相同频率分量组成列矩阵信号S′_kc，具体形式如下：

S′_kc＝[c′_k+c+d′_k+ci c′_k+n+c+d′_k+n+ci ... c′_k+(m-1)n+c+d′_k+(m-1)n+ci]^T(c＝1,2,3,…,n)

6.2计算列矩阵信号S′_kc在采样率R下的各个频率分量

6.3计算列信号矩阵S′_ks下频率分量为f_s时手势相对雷达的径向速度其中λ为波长，T_c为雷达产生信号矩阵B的时间。

6.4将上一步骤计算出的n个速度v_s(s＝1,2,3,…,n)按照步骤十八中n个的频率分量f_c比例生成速度矩阵Y，具体为：

Y＝[v₁ v₂ ... v_n]^T

本实验中λ＝0.004m，T_c＝38us，f_s＝2000ksps。

6.5对速度信号矩阵S′_k的每个元素求幅值，得到结果幅值矩阵R′_k，具体如下：

步骤七、计算信号序列B中各帧信号{B₁ ... B_i ... B_f}(1≤i≤f)包含手势速度和距离信息的幅值矩阵(R₁ R₂ ... R_f)，具体步骤如下：

7.1计算出信号列矩阵B_i包含t个信号矩阵(B_i1 ... B_ij ... B_it)对应的幅值矩阵R′_k(R′_i1 ... R′_ij ... R′_it)。

求取t个幅值矩阵R′_k(R′_i1 ... R′_ij ... R′_it)的平均值其中R′_it表示中频信号矩阵A中的第i帧帧信号B_i的第t对发射接收天线中提取到的运动信息幅值矩阵。

7.2计算信号序列B中f帧信号(B₁ B₂ ... B_f)的幅值矩阵(R₁ R₂ ... R_f)。

步骤八、将生成的幅值矩阵(R₁ R₂ ... R_f)预处理为深度学习网络的输入数据X_input，并初始化网络权重，具体步骤如下：

8.1将生成的f个二维幅值矩阵(R₁ R₂ ... R_f)合并为维度f×m×n的固定三维输入信号矩阵X_input。

8.2随机生成维度为k_ernel×k_ernel×k_ernel表示网络权重的卷积核矩阵K₁、K₂、K₃、K₄、K₅、K₆、K₇和K₈各n_kernel1、n_kernel2、n_kernel3、n_kernel4、n_kernel5、n_kernel6、n_kernel7和n_kernel8个，本实验中n_kernel1＝64，n_kernel2＝128，n_kernel3＝256，n_kernel4＝256，n_kernel5＝512，n_kernel6＝512，n_kernel7＝512，n_kernel8＝512。

步骤九、将输入信号矩阵X_input进行卷积池化操作获取初步的浅层特征结果，得到池化矩阵P_ool1。

9.1将输入矩阵信号X_input中每个k_ernel×k_ernel区域矩阵与n_kernel1个卷积核矩阵K₁进行卷积相乘，生成表示从矩阵信号X_input中提取到的浅层特征的特征映射图F_eat1，具体卷积操作如图7，本实验中n_kernel1＝64。

9.2将特征映射图F_eat1矩阵在每个k_pool×k_pool区域矩阵内，用该区域中的最大值代表原来的k_pool×k_pool区域矩阵，生成表示将特征映射图F_eat1信息压缩后的池化矩阵P_ool1，具体操作如图8。

步骤十、将池化矩阵P_ool1重复步骤九中的卷积核池化操作，设置卷积核个数n_kernel2，得到表示特征图的池化结果P_ool2。

步骤十一、对池化结果P_ool2进行进一步的卷积池化，提取深度特征结果，得到池化矩阵P_ool3，具体步骤如下：

11.1将池化矩阵P_ool2与卷积核矩阵K₃进行卷积操作，生成特征映射图F_eat3，再与卷积矩阵K₄卷积，生成特征映射图F_eat4，再将F_eat4进行池化，将特征压缩为P_ool3。

步骤十二、将P_ool3按照步骤十一重复两次进行卷积核池化操作，得到n_kernel5个f′×m′×n′维的特征映射图P_ool5，本实验中f′＝1，m′＝2，n′＝4。

步骤十三、将n_kernel5个f′×m′×n′维的特征映射图F_eat5维度转置得到s₁×s₂维的特征向量X_feature，本实验中s₁＝4，s₂＝1024。

步骤十四、设置长短期记忆网络(Long Short-TermMemory，LSTM)的输入层为上一步骤中时间步长为s₁输入维数为s₂的特征向量X_feature，令X＝X_feature，其中X的步长为s₁，长短期记忆网络结构图如图9。

步骤十五、根据长短记忆网络的输入X，计算网络中输入门I、忘记门F、输出门O和候选隐藏状态G，具体步骤如下：

15.1随机初始化步长为s₁的X中第一步X₁的状态变量为S_state，设置网络中隐层LSTM单元节点数为h，本实验中h＝4096。

15.2计算X总步长为s₁中每一步的输入门I、忘记门F和输出门O并求其隐层状态S，其中X的第t步计算结果具体形式如下：

其中S_t-1为第t-1步的状态变量，Uⁱ、Wⁱ、U^f、W^f、U^o和W^o为随机初始化的权重矩阵。

15.3计算候选隐藏状态G＝tanh(X_tU^g+S_t-1W^g)，内部存储器的细胞状态C_t＝C_t-1×F+G×I，以及第t步的输出隐层状态为S_t＝tanh(C_t)×O，其中U^g和W^g为随机初始化的权重参数。

步骤十六、同过LSTM各个门计算网络隐层中最后一步的h×1维隐藏状态并作为特征结果X′_feature。

步骤十七、将最终形如X′_feature＝[x₁ x₂ ... x_h]^T的特征结果送入归一化指数函数进行计算结果矩阵得到结果矩阵中值最大的角标y′＝max(X_res)，结果矩阵X_res的K个标量中第j个值表示中频信号矩阵A被三维卷积神经网络模型判别为第j类手势的概率，本实验中K＝6，y′表示中频信号矩阵A被判别为某一类手势的结果。

步骤十八、根据网络判断的结果分类y′，计算分类结果的损失函数J(θ)，并根据此分类函数对网络中的权重进行更新，具体步骤如下：

18.1设置损失函数为交叉熵损失函数其中m为训练样本数，y为训练集真实结果。

18.2设置学习率为l_r，迭代次数为s_tep，利用损失函数J(θ)训练3DCNN和LSTM网络结构中随机初试化的权重参数，本实验中其中l_r＝0.003，s_tep＝5000。

18.3使用反向传播算法更新三维卷积神经网络的权重参数(K₁ K₂... K₈)和长短记忆网络的权重参数Uⁱ、Wⁱ、U^f、W^f、U^o、W^o、U^g和W^g，其中θ^(l)指网络中第l层待更新的权重参数。

步骤十九、将测试手势数据集输入到步骤十八得到的深度学习网络中分类，得到手势分类结果y′。

Claims (3)

1.基于雷达信号的深度学习手势识别方法，其特征在于，包括以下步骤：

步骤一、设计手掌前推、后拉、左摆、右摆、前后推拉和左右挥动六个手势动作，并且利用调频连续波(Frequency Modulated Continuous Wave，FMCW)雷达采集训练和测试手势数据集的雷达源数据文件生成原始的中频信号矩阵A；

从原始中频信号矩阵A中提取某一发射天线和接收天线对应的帧信号矩阵F_k；

步骤二、构造汉明窗W_hanming，并将其与帧信号矩阵F_k进行旁瓣抑制处理得到帧信号矩阵F_k′；

步骤三、将帧信号矩阵F_k′的每一列信号F_k′_c进行傅里叶变换生成距离信号矩阵S_k；

步骤四、根据距离信号矩阵S_k中的频率分量计算信号所表示的实际距离，得到信号幅值矩阵R_k；

步骤五、将帧信号矩阵S_k的每一行行矩阵信号S_kr进行傅里叶变换，生成速度信号矩阵S′_k；

步骤六、根据速度信号矩阵S′_k中频率分量计算信号所表示的实际速度，得到信号幅值矩阵R′_k；

步骤七、计算信号序列B中各帧信号{B₁ ... B_i ... B_f}(1≤i≤f)包含手势速度和距离信息的幅值矩阵(R₁ R₂ ... R_f)；

步骤八、将生成的幅值矩阵(R₁ R₂ ... R_f)预处理为深度学习网络的输入数据X_input，并初始化网络权重；

步骤九、将输入信号矩阵X_input进行卷积池化操作获取初步的浅层特征结果，得到池化矩阵P_ool1；

步骤十、将池化矩阵P_ool1重复步骤九中的卷积核池化操作，设置卷积核个数n_kernel2，得到表示特征图的池化结果P_ool2；

步骤十一、对池化结果P_ool2进行进一步的卷积池化，提取深度特征结果，得到池化矩阵P_ool3；

步骤十二、将P_ool3按照步骤十一重复两次进行卷积核池化操作，得到n_kernel5个f′×m′×n′维的特征映射图P_ool5；

步骤十三、将n_kernel5个f′×m′×n′维的特征映射图F_eat5维度转置得到s₁×s₂维的特征向量X_feature；

步骤十四、设置长短期记忆网络(Long Short-Term Memory，LSTM)的输入层为上一步骤中时间步长为s₁输入维数为s₂的特征向量X_feature，令X＝X_feature，其中X的步长为s₁，长短期记忆网络结构图如图9；

步骤十五、根据长短记忆网络的输入X，计算网络中输入门I、忘记门F、输出门O和候选隐藏状态G；

步骤十六、同过LSTM各个门计算网络隐层中最后一步的h×1维隐藏状态S_s1，并作为特征结果X′_feature；

步骤十七、将最终形如X′_feature＝[x₁ x₂ ... x_h]^T的特征结果送入归一化指数函数进行计算结果矩阵X_res，得到结果矩阵中值最大的角标y′＝max(X_res)，结果矩阵X_res的K个标量中第j个值表示中频信号矩阵A被三维卷积神经网络模型判别为第j类手势的概率，y′表示中频信号矩阵A被判别为某一类手势的结果；

步骤十八、根据网络判断的结果分类y′，计算分类结果的损失函数J(θ)，并根据此分类函数对网络中的权重进行更新；

步骤十九、将测试手势数据集输入到步骤十八得到的深度学习网络中分类，得到手势分类结果y′。

2.根据权利要求1所述的基于雷达信号的深度学习手势识别方法，其特征在于将生成的幅值矩阵(R₁ R₂ ... R_f)预处理为深度学习网络的输入数据X_input，利用三维卷积神经网络提取幅值矩阵中的手势特征。

3.根据权利要求1或2所述的基于雷达信号的深度学习手势识别方法，其特征在于根据输入信号X，使用长短记忆网络计算连续手势中的序列信息，所述步骤十五包括以下步骤：

15.1随机初始化步长为s₁的X中第一步X₁的状态变量为S_state，设置网络中隐层LSTM单元节点数为h；

15.2计算X总步长为s₁中每一步的输入门I、忘记门F和输出门O并求其隐层状态S，其中X的第t步计算结果具体形式如下：

其中S_t-1为第t-1步的状态变量，Uⁱ、Wⁱ、U^f、W^f、U^o和W^o为随机初始化的权重矩阵；

15.3计算候选隐藏状态G＝tanh(X_tU^g+S_t-1W^g)，内部存储器的细胞状态C_t＝C_t-1×F+G×I，以及第t步的输出隐层状态为S_t＝tanh(C_t)×O，其中U^g和W^g为随机初始化的权重参数。