CN116824629A - 基于毫米波雷达的高鲁棒手势识别方法 - Google Patents

Abstract

本发明属于智能无线感知技术领域，公开一种基于毫米波雷达的高鲁棒手势识别方法。实际生活中机器进行行为感知时无法获得一个安静的环境，当环境中出现高强度噪声干扰，如他人走动或跑动时，这些干扰会影响手势识别的准确率。本发明通过提取毫米波雷达多天线的信息，并将其在距离、速度、水平角度和竖直角度四个维度上进行映射来生成不同的信息随时间变化的图片，并设计了基于自注意力机制的网络，完成了实时的手势识别任务。该网络通过增加手势信息的权重的同时降低噪声信号的影响，提高了对环境的鲁棒能力。通过实验表明，本发明在存在高强度干扰的环境下，手势识别的准确率达到了90％以上，具有很好的环境鲁棒性。

Description

基于毫米波雷达的高鲁棒手势识别方法

技术领域

本发明涉及智能无线感知技术领域，尤其涉及一种基于毫米波雷达的高鲁棒手势识别方法。

背景技术

随着科技的高速发展，人工智能已经逐渐融入了人们的生活，在各个领域给人们带来了诸多的便利。在机器为人们提供智能服务的过程中，需要其对人类行为，环境变化等方面进行感知。虽然目前人们已经对计算机视觉感知领域进行了广泛的研究和商业应用，成功的满足了高精度的感知需求，但是由于摄像机涉及到的隐私问题和其对光线的敏感性，使得其应用场景受到了极大的限制。

毫米波雷达无线感知具有感知精度高，覆盖范围广，较好的隐私保护和环境鲁棒等诸多优点，逐渐受到了人们的青睐。由于毫米波信号的波长较短并且会被环境中的不同物体反射，所以环境中的微小变化都会引起回波信号的改变。通过对回波信号进行适当的处理，便可以提取出不同维度的环境变化信息，充分的利用这些信息可以完成各种高精度的感知任务。目前毫米波雷达广泛地应用于车载，智能家居，生命体征检测等诸多领域，具有较好的应用前景。

手势识别是人类行为感知最重要的一个方面，目前已经有一些工作对使用毫米波雷达完成手势识别任务进行了研究。通过对接收到的雷达回波信号进行处理并构建数据集，将数据集输入到设计好的神经网络中对其参数进行训练。由于训练好的神经网络参数是固定的，可以实现从雷达信号到手势类别的直接映射，实现实时的手势识别。由于传统的支持向量机，决策树等分类算法对环境和参数较为敏感且无法处理更加复杂的问题，使用神经网络进行手势识别具有灵活性、适应性、鲁棒性和准确性等多个优点，可以实现自动从原始数据中学习特征并进行高精度地手势分类，这使其可以更加灵活的完成和适应不同的手势识别任务。但是目前的绝大多数研究涉及到以下的两个局限：首先他们没有充分的利用雷达信号中的多维度信息，很多研究都是利用了距离，速度，水平和竖直角度这四个维度信息中的一到两个进行手势识别。对于更加复杂的手势，充分利用多维度信息可以取得更好的精度。其次绝大多数研究都是在相对安静的环境中进行的，当环境中出现高强度噪声干扰(如他人走动或跑动)时，这些干扰会对影响他们所设计的网络对手势的判决结果，大大降低了手势识别的准确率。

发明内容

本发明提供一种基于毫米波雷达的高鲁棒手势识别方法，利用雷达信号包含的多维度特征进行高精度的手势识别。其基本思想是充分利用雷达回波信号的变化信息，对复杂的手势进行识别。通过构建数据集来训练基于自注意力机制的神经网络，名为VisionTransformer(ViT)。该网络通过增加手势信息的权重的同时降低噪声信号的影响，提高了系统对环境的鲁棒能力，并且可以实现处理后的雷达信号到手势类别的快速映射，实时的完成手势识别任务。

本发明的技术方案：一种基于毫米波雷达的高鲁棒手势识别方法，通过多维度信息和基于自注意力机制的网络Vision Transformer实现高精度环境鲁棒的手势识别，具体步骤如下：

步骤1、去除静态噪声；

雷达接收到的回波信号包括静态分量和动态分量，通过对接收到的相邻的两个周期的雷达回波进行作差，去除环境中不随着时间变化的静态分量；

步骤2、获取多维特征图片；

毫米波雷达板具有多根发射天线和接收天线，通过对多天线接收到的雷达回波信号进行傅里叶变换处理得到包含距离、速度和角度三个维度信息随时间变化的图片，包括距离时间图、速度时间图、水平角度时间图和竖直角度时间图；

步骤3、训练基于自注意力机制的网络Vision Transformer；

将距离时间图、速度时间图、水平角度时间图和竖直角度时间图拼接成一个4通道的特征矩阵并设置好对应的手势类别作为标签，输入到后续的Vision Transformer网络中进行训练；

Vision Transformer网络包括图片分割模块、位置编码模块、多头注意力机制模块、归一化网络层、前馈网络层和全连接层；

图片分割模块对输入的图片进行分割，将图片分割成不同的块，每个块包含着图片不同位置的信息；位置编码模块主要由两个全连接层和加法器组成，将每个块输入到位置编码模块中，该位置编码模块通过将每个块输入到第一个全连接层线性映射成一个一维的token；将每个块输入到第二个全连接层中生成另一个可学习的向量，通过训练该向量学习到每个块的位置信息；将包含位置信息的向量与全连接层映射生成的token通过相加器相加嵌入位置信息，获得重构后的token；

将重构后的token通过三个不同的全连接层映射为query、key和value向量，分别表示为q_n,k_n,v_n，其中n表示块的个数；将q_n,k_n,v_n输入到多头注意力机制模块中；对于输入的每个q_n分别与其他的k_n进行点乘来计算彼此之间的相关性，当前块对应的向量包含的手势信息越多，相关系数越大；当前块包含的噪声信号越多，生成的相关系数越小；将点乘的结果通过softmax函数生成一个0到1的权重，作为注意力值；将该注意力值与v_n相乘来对v_n进行加权，生成新的向量；

对每个q_n生成的新的向量进行求和生成重构的向量，重构的向量融合全局信息，分别建立不同位置的手势信号之间的联系；将重构的向量输入到归一化网络层进行归一化；这里引入残差结构，将归一化的结果与输入多头注意力机制模块的token相加来提升网络性能；前馈网络层包括全连接层FC和激活层，将相加后输出的向量输入到前馈网络层中加入非线性变换；将非线性变换后的向量进一步通过归一化网络层进行归一化，这里再次引入残差结构，将归一化的结果与输入前馈网络层的向量相加；最终输入到全连接层进行映射，输出手势类别；使用交叉熵损失函数对基于自注意力机制的网络VisionTransformer进行训练，表示为：

其中，p(x_i)表示当前样本的真实类别，q(x_i)表示当前样本的预测类别。

所述距离时间图获取过程如下：

通过雷达信号的传输时延和频率信号的对应关系进行测距，将接收信号和发射信号进行混频，得到中频信号为：

其中，A_Tx表示发射信号的幅度，A_Rx表示接收信号的幅度，f_c为载波频率，τ为时延，B为雷达带宽，T_c为一个连续调频波信号一个周期的持续时间，ΔΦ₁为手势运动带来的多普勒频移；目标与雷达的距离d与时延τ的关系表示为c为光速，因此通过对中频信号进行傅里叶变换得到包含中频信号的频率f_IF的向量，通过中频信号频率和目标的距离D的对应关系得到目标与雷达的距离信息为：

将包含距离信息的向量沿着时间维度进行拼接，得到手势与雷达之间的距离随时间变化的图片。

所述速度时间图获取过程如下：

60个周期的连续调频波信号为一帧，通过不同周期连续调频波回波信号之间相位的改变求出目标相对于雷达的径向速度，速度V表示为：

其中，T_f表示一帧信号的时间，ΔΦ₁表示多普勒频移，通过对不同周期的连续调频波回波信号的采样点进行傅里叶变换获得；将获得的包含目标速度信息的向量沿着时间维度进行拼接，得到手势相对于雷达的径向速度随时间变化的图片。

水平角度时间图和竖直角度时间图获取过程如下：

通过相邻天线的相位差获得目标相对于雷达的角度信息；对不同天线的雷达信号进行采样，沿着不同天线的维度对连续调频波回波信号进行傅里叶变换来获得相位差，目标与雷达的角度信息表示为：

其中，l表示相邻天线之间的距离，ΔΦ₂表示相邻天线之间的相位差；通过不同天线的阵列，测量不同天线维度的角度，通过水平方向和竖直方向的天线阵列测得包含不同方向角度信息的向量，并分别将不同方向角度信息的向量沿着时间维度进行拼接，得到了手势相对于雷达水平角度和竖直角度随时间变化的图片。

本发明首先对采集到的雷达信号进行处理，去除其中的静态分量。之后沿着三个不同的维度进行傅里叶变换，可以分别得到各个时刻的距离，速度和角度信息，其中角度信息包括水平和竖直角度。将不同时刻的信息沿着时间维度进行拼接，可以分别得到手势信息在距离，速度和角度维度上的变化图片。将包含手势信息的图片拼接成一个四通道矩阵输入到基于自注意力机制的ViT网络中。该网络通过将输入的图片进行分割和编码，并使用Transformer模块让不同位置的信息相互作用生成权重，在对重要信息进行加权的同时合理的融合了全局的信息，最后，利用提取到的手势信息通过全连接层映射出对应的手势类别，从而实现高精度的手势识别。

神经网络以降低损失函数为训练目标，通过交叉熵函数公式我们可以看出，随着损失函数的减少，网络预测的手势类别和输入图片对应的真实类别会逐渐贴近，即手势识别的精度会逐渐提高。

将训练好的网络模型参数固定并通过电脑与雷达接收板相连，用户可以在雷达板前4米的范围内进行预定的手势，当电脑端接收到雷达回波后，会通过多维度傅里叶变换将其转化为图片，并输入到训练好的网络模型中，网络模型会在短时间内输出用户所做的手势类型，为用户带来良好的使用体验。

本发明的有益效果：(1)本发明通过提取利用了毫米波雷达信号感知的多维度信息可以实现高精度的手势识别。(2)使用了基于自注意力的Vision Transformer网络对手势信息进行提取，通过增加雷达信号中手势信息的权重，可以抑制高强度干扰噪声的影响，具有较好的环境鲁棒性。(3)使用机器学习的方法，利用已训练好的模型可以实现高精度实时性的手势识别。

附图说明

图1是本发明基于毫米波雷达利用多视角信息通过Vision Transformer网络进行手势识别的流程图。

具体实施方式

以下结合上述手势识别的技术方案，进一步说明本发明的具体实施方式。

本发明可以实现对十种以上的复杂手势进行精确地识别，并且在进行手势的过程中环境中可以出现高强度的干扰，比如他人的走动和跑动等行为。图1表示了整个工作流程，具体步骤如下：

首先使用毫米波雷达发射数据板和接收数据板进行数据采集。实验一共需要招募10到20名志愿者，每种手势共采集了400到600个样本用于后续网络的训练。将采集到的数据通过差分去噪的方法去除环境静态噪声，并根据公式(2)，公式(3)以及公式(4)计算得到不同时刻雷达信号中包含的距离、速度、水平角度和竖直角度信息，之后将这些信息沿着时间维度进行拼接得到了距离时间图，速度时间图，水平角度时间图和竖直角度时间图。

在获得多维度特征图片之后，将生成的图片拼接成一个4通道的特征矩阵输入到Vision Transformer网络中，并设置好特征矩阵对应的手势标签后对网络进行训练。在训练的初始阶段，设定网络的学习率为0.01，随着训练回合数的增加学习率逐渐降低到0.0001，一共训练1000回合。训练好的网络可以完成高精度的手势识别任务，本发明以七种较为复杂的手势进行了实验，包括斜上推，上滑，斜下拉，倒三角，字母Z，字母N和字母M。在进行手势的过程中，在测试者的身后会出现三种最常见的人类行为作为干扰，包括基本交际行为，走动行为和跑动行为，其中人类基本交际行为包括：握手，招手，传递，拍手，拥抱，挥手等，走动和跑动行为沿着设定好的12种路径进行。实验结果表明，本发明在存在高强度干扰时手势识别的准确率达到了90％以上。

该方法适用于在存在高强度干扰环境下完成手势识别的任务，利用毫米波雷达信号中的多维度特征，使用基于自注意力的Vision Transformer网络抑制噪声信号的影响的同时提取手势信息，从而实现高精度的手势识别。

Claims (4)

1.一种基于毫米波雷达的高鲁棒手势识别方法，其特征在于，通过多维度信息和基于自注意力机制的网络Vision Transformer实现高精度环境鲁棒的手势识别，具体步骤如下：

步骤1、去除静态噪声；

雷达接收到的回波信号包括静态分量和动态分量，通过对接收到的相邻的两个周期的雷达回波进行作差，去除环境中不随着时间变化的静态分量；

步骤2、获取多维特征图片；

毫米波雷达板具有多根发射天线和接收天线，通过对多天线接收到的雷达回波信号进行傅里叶变换处理得到包含距离、速度和角度三个维度信息随时间变化的图片，包括距离时间图、速度时间图、水平角度时间图和竖直角度时间图；

步骤3、训练基于自注意力机制的网络Vision Transformer；

将距离时间图、速度时间图、水平角度时间图和竖直角度时间图拼接成一个4通道的特征矩阵并设置好对应的手势类别作为标签，输入到后续的Vision Transformer网络中进行训练；

Vision Transformer网络包括图片分割模块、位置编码模块、多头注意力机制模块、归一化网络层、前馈网络层和全连接层；

图片分割模块对输入的图片进行分割，将图片分割成不同的块，每个块包含着图片不同位置的信息；位置编码模块主要由两个全连接层和加法器组成，将每个块输入到位置编码模块中，该位置编码模块通过将每个块输入到第一个全连接层线性映射成一个一维的token；将每个块输入到第二个全连接层中生成另一个可学习的向量，通过训练该向量学习到每个块的位置信息；将包含位置信息的向量与全连接层映射生成的token通过相加器相加嵌入位置信息，获得重构后的token；

将重构后的token通过三个不同的全连接层映射为query、key和value向量，分别表示为q_n,k_n,v_n，其中n表示块的个数；将q_n,k_n,v_n输入到多头注意力机制模块中；对于输入的每个q_n分别与其他的k_n进行点乘来计算彼此之间的相关性，当前块对应的向量包含的手势信息越多，相关系数越大；当前块包含的噪声信号越多，生成的相关系数越小；将点乘的结果通过softmax函数生成一个0到1的权重，作为注意力值；将该注意力值与v_n相乘来对v_n进行加权，生成新的向量；

对每个q_n生成的新的向量进行求和生成重构的向量，重构的向量融合全局信息，分别建立不同位置的手势信号之间的联系；将重构的向量输入到归一化网络层进行归一化；引入残差结构，将归一化的结果与输入多头注意力机制模块的token相加；前馈网络层包括全连接层FC和激活层，将相加后输出的向量输入到前馈网络层中加入非线性变换；将非线性变换后的向量进一步通过归一化网络层进行归一化，再次引入残差结构，将归一化的结果与输入前馈网络层的向量相加；最终输入到全连接层进行映射，输出手势类别；使用交叉熵损失函数对基于自注意力机制的网络Vision Transformer进行训练，表示为：

其中，p(x_i)表示当前样本的真实类别，q(x_i)表示当前样本的预测类别。

2.根据权利要求1所述的基于毫米波雷达的高鲁棒手势识别方法，其特征在于，所述距离时间图获取过程如下：

通过雷达信号的传输时延和频率信号的对应关系进行测距，将接收信号和发射信号进行混频，得到中频信号为：

其中，A_Tx表示发射信号的幅度，A_Rx表示接收信号的幅度，f_c为载波频率，τ为时延，B为雷达带宽，T_c为一个连续调频波信号一个周期的持续时间，ΔΦ₁为手势运动带来的多普勒频移；目标与雷达的距离d与时延τ的关系表示为c为光速，因此通过对中频信号进行傅里叶变换得到包含中频信号的频率f_IF的向量，通过中频信号频率和目标的距离D的对应关系得到目标与雷达的距离信息为：

将包含距离信息的向量沿着时间维度进行拼接，得到手势与雷达之间的距离随时间变化的图片。

3.根据权利要求1或者2所述的基于毫米波雷达的高鲁棒手势识别方法，其特征在于，所述速度时间图获取过程如下：

60个周期的连续调频波信号为一帧，通过不同周期连续调频波回波信号之间相位的改变求出目标相对于雷达的径向速度，速度V表示为：

其中，T_f表示一帧信号的时间，ΔΦ₁表示多普勒频移，通过对不同周期的连续调频波回波信号的采样点进行傅里叶变换获得；将获得的包含目标速度信息的向量沿着时间维度进行拼接，得到手势相对于雷达的径向速度随时间变化的图片。

4.根据权利要求3所述的基于毫米波雷达的高鲁棒手势识别方法，其特征在于，所述水平角度时间图和竖直角度时间图获取过程如下：

通过相邻天线的相位差获得目标相对于雷达的角度信息；对不同天线的雷达信号进行采样，沿着不同天线的维度对连续调频波回波信号进行傅里叶变换来获得相位差，目标与雷达的角度信息表示为：

其中，l表示相邻天线之间的距离，ΔΦ₂表示相邻天线之间的相位差；通过不同天线的阵列，测量不同天线维度的角度，通过水平方向和竖直方向的天线阵列测得包含不同方向角度信息的向量，并分别将不同方向角度信息的向量沿着时间维度进行拼接，得到了手势相对于雷达水平角度和竖直角度随时间变化的图片。