CN117671777B - 一种基于雷达的手势识别方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开了一种基于雷达的手势识别方法、装置、设备及存储介质，本发明通过将关于回波数据的多种图谱的向量进行融合，丰富了特征维度，此外，基于交叉注意力机制对图像编码特征和表征多种不同手势的手势嵌入特征进行处理，图像编码特征从手势嵌入特征中学习手势识别信息，手势嵌入特征从图像编码特征中学习图像信息，并最终融合，得到手势识别特征，提高了手势识别的准确度。

Description

一种基于雷达的手势识别方法、装置、设备及存储介质

技术领域

本发明涉及手势识别技术，尤其涉及一种基于雷达的手势识别方法、装置、设备及存储介质。

背景技术

毫米波雷达应用于物联网感知层，对物联网智能场景的实现，起到不可或缺的作用。近些年，物联网产业的迅速发展也推动了毫米波雷达技术的快速发展，使毫米波雷达的应用场景不断丰富，广泛地应用在智能家居、智慧照明、智慧卫浴等领域。

传统的雷达手势识别大多采用特征对比的方式，即从当前采集的回波信号中提取特征，并将其与特征库中的特征样本进行对比，得到最匹配的特征样本，进而确定手势。

但是，由于不同的人的操作手势存在区别，即使同一人在不同的时间的操作手势也有区别，因此，传统的手势识别方案准确度较低。

发明内容

本发明提供一种基于雷达的手势识别方法、装置、设备及存储介质，以提高手势识别的准确度。

第一方面，本发明提供了一种基于雷达的手势识别方法，包括：

获取毫米波雷达采集的回波数据，并对所述回波数据进行预处理，得到关于所述回波数据的多种图谱，所述图谱包括距离-时间谱、速度-时间谱、方位谱和俯仰谱；

将各图谱向量化，并将各图谱的向量在维度上进行拼接，得到融合图谱向量；

将所述融合图谱向量输入编码器中，所述编码器基于注意力机制对所述融合图谱向量进行编码，得到图像编码特征；

将所述图像编码特征和表征多种不同手势的手势嵌入特征输入解码器中，所述解码器分别以所述图像编码特征和表征多种不同手势的手势嵌入特征为可学习的特征，基于交叉注意力机制对所述图像编码特征和所述手势嵌入特征进行处理，得到手势识别特征；

基于所述手势识别特征预测手势识别结果。

可选的，对所述回波数据进行预处理，得到关于所述回波数据的多种图谱，包括：

从所述回波数据滤除静止的背景成分，得到滤除背景成分后的回波数据；

对滤除背景成分后的回波数据在距离维度和速度维度分别进行快速傅里叶变换，得到原始的距离-多普勒图；

对原始的距离-多普勒图中的干扰目标进行过滤，得到只包含人手的最终的距离-多普勒图；

基于最终的距离-多普勒图，确定距离-时间谱、速度-时间谱、方位谱和俯仰谱。

可选的，所述编码器包括多个依次连接的编码单元，所述编码器基于注意力机制对所述融合图谱向量进行编码，得到图像编码特征，包括：

在第i个编码单元中基于自注意力机制对第i-1个编码单元的输出特征进行处理，得到第i个编码单元的输出特征，其中，第一个编码单元的输入特征为所述融合图谱向量，最后一个编码单元的输出特征为图像编码特征。

可选的，所述编码单元包括第一归一化层、第一多头注意力层、第二归一化层、第三归一化层、第一前馈层和第四归一化层，在第i个编码单元中基于自注意力机制对第i-1个编码单元的输出特征进行处理，得到第i个编码单元的输出特征，包括：

在所述第一归一化层中对输入特征进行归一化处理，得到第一归一化特征；

在所述第一多头注意力层中基于自注意力机制对所述第一归一化特征进行处理，得到第一注意力特征；

在所述第二归一化层中对所述第一注意力特征进行归一化处理，得到第二归一化特征；

融合所述编码单元的输入特征与所述第二归一化特征，得到第一融合特征；

在所述第三归一化层中对所述第一融合特征进行归一化处理，得到第三归一化特征；

在所述第一前馈层中对所述第三归一化特征进行全连接映射，得到第一映射特征；

在所述第四归一化层中对所述第一映射特征进行归一化处理，得到第四归一化特征；

融合所述第四归一化特征与所述第一融合特征，得到第i个编码单元的输出特征。

可选的，所述解码器包括多层依次堆叠的解码模块，所述解码模块包括第一解码单元和第二解码单元，所述解码器分别以所述图像编码特征和表征多种不同手势的手势嵌入特征为可学习的特征，基于交叉注意力机制对所述图像编码特征和所述手势嵌入特征进行处理，得到手势识别特征，包括：

在第i个解码模块的第一解码单元中，以第i-1个解码模块中第二解码单元的输出特征作为注意力机制中的键向量和值向量，以第i-1个解码模块中第一解码单元的输出特征作为注意力机制中的查询向量，更新所述手势嵌入特征，得到第i个解码模块中第一解码单元的输出特征，其中，第一个解码模块的第一解码单元以所述图像编码特征为键向量和值向量，以所述手势嵌入特征为查询向量；

在第i个解码模块的第二解码单元中，以第i个解码模块中第一解码单元的输出特征作为注意力机制中的键向量和值向量，以第i-1个解码模块中第二解码单元的输出特征作为注意力机制中的查询向量，更新所述图像编码特征，得到第i个解码模块中第二解码单元的输出特征，其中，第一个解码模块的第二解码单元以所述手势嵌入特征为键向量和值向量，以所述图像编码特征为查询向量；

融合最后一个解码模块的第一解码单元的输出特征和最后一个解码模块的第二解码单元的输出特征，得到手势识别特征。

可选的，所述第一解码单元包括依次堆叠的交叉注意力层、第五归一化层、第二前馈层和第六归一化层，在第i个解码模块的第一解码单元中，以第i-1个解码模块中第二解码单元的输出特征作为注意力机制中的键向量和值向量，以第i-1个解码模块中第一解码单元的输出特征作为注意力机制中的查询向量，更新所述手势嵌入特征，得到第i个解码模块中第一解码单元的输出特征，包括：

在第一解码单元的交叉注意力层中，以第i-1个解码模块中第二解码单元的输出特征作为注意力机制中的键向量和值向量，以第i-1个解码模块中第一解码单元的输出特征作为注意力机制中的查询向量，计算交叉注意力层的输出特征；

将交叉注意力层的输出特征与第i-1个解码模块中第一解码单元的输出特征进行拼接，得到第一拼接特征；

在第五归一化层中，对所述第一拼接特征进行归一化处理，得到第五归一化特征；

在第二前馈层中，对所述第五归一化特征进行全连接映射，得到第二映射特征；

在第六归一化层中，将所述第二映射特征进行归一化处理，得到第六归一化特征；

将所述第二映射特征与所述第六归一化特征进行拼接，得到第i个解码模块中第一解码单元的输出特征。

可选的，所述第二解码单元包括依次堆叠的交叉注意力层、第七归一化层、第三前馈层和第八归一化层，在第i个解码模块的第二解码单元中，以第i个解码模块中第一解码单元的输出特征作为注意力机制中的键向量和值向量，以第i-1个解码模块中第二解码单元的输出特征作为注意力机制中的查询向量，更新所述图像编码特征，得到第i个解码模块中第二解码单元的输出特征，包括：

在第二解码单元的交叉注意力层中，以第i个解码模块中第一解码单元的输出特征作为注意力机制中的键向量和值向量，以第i-1个解码模块中第二解码单元的输出特征作为注意力机制中的查询向量，计算交叉注意力层的输出特征；

将交叉注意力层的输出特征与第i-1个解码模块中第二解码单元的输出特征进行拼接，得到第二拼接特征；

在第七归一化层中，对所述第二拼接特征进行归一化处理，得到第七归一化特征；

在第三前馈层中，对所述第七归一化特征进行全连接映射，得到第三映射特征；

在第八归一化层中，将所述第三映射特征进行归一化处理，得到第八归一化特征；

将所述第三映射特征与所述第八归一化特征进行拼接，得到第i个解码模块中第二解码单元的输出特征。

第二方面，本发明还提供了一种基于雷达的手势识别装置，包括：

数据预处理模块，用于获取毫米波雷达采集的回波数据，并对所述回波数据进行预处理，得到关于所述回波数据的多种图谱，所述图谱包括距离-时间谱、速度-时间谱、方位谱和俯仰谱；

融合模块，用于将各图谱向量化，并将各图谱的向量在维度上进行拼接，得到融合图谱向量；

图像编码模块，用于将所述融合图谱向量输入编码器中，所述编码器基于注意力机制对所述融合图谱向量进行编码，得到图像编码特征；

特征提取模块，用于将所述图像编码特征和表征多种不同手势的手势嵌入特征输入解码器中，所述解码器分别以所述图像编码特征和表征多种不同手势的手势嵌入特征为可学习的特征，基于交叉注意力机制对所述图像编码特征和所述手势嵌入特征进行处理，得到手势识别特征；

手势识别模块，用于基于所述手势识别特征预测手势识别结果。

第三方面，本发明还提供了电子设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明第一方面提供的基于雷达的手势识别方法。

第四方面，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明第一方面提供的基于雷达的手势识别方法。

本发明提供的基于雷达的手势识别方法，包括：获取毫米波雷达采集的回波数据，并对回波数据进行预处理，得到关于回波数据的多种图谱，图谱包括距离-时间谱、速度-时间谱、方位谱和俯仰谱，将各图谱向量化，并将各图谱的向量在维度上进行拼接，得到融合图谱向量，将融合图谱向量输入编码器中，编码器基于注意力机制对融合图谱向量进行编码，得到图像编码特征，将图像编码特征和表征多种不同手势的手势嵌入特征输入解码器中，解码器分别以图像编码特征和表征多种不同手势的手势嵌入特征为可学习的特征，基于交叉注意力机制对图像编码特征和手势嵌入特征进行处理，得到手势识别特征，基于手势识别特征预测手势识别结果。本发明通过将关于回波数据的多种图谱的向量进行融合，丰富了特征维度，此外，基于交叉注意力机制对图像编码特征和手势嵌入特征进行处理，图像编码特征从手势嵌入特征中学习手势识别信息，手势嵌入特征从图像编码特征中学习图像信息，并最终融合，得到手势识别特征，提高了手势识别的准确度。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于雷达的手势识别方法的流程图；

图2为本发明实施例提供的一种编码器的结构示意图；

图3为本发明实施例提供的一种编码单元的结构示意图；

图4为本发明实施例提供的一种解码器的结构示意图；

图5为本发明实施例提供的一种解码模块的结构示意图；

图6为本发明实施例提供的一种基于雷达的手势识别装置的结构示意图；

图7为本发明实施例提供的一种电子设备的结构示意图。

通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

图1为本发明实施例提供的一种基于雷达的手势识别方法的流程图，本实施例可适用于基于毫米波雷达的回波识别用户手势的情况，该方法可以由本发明实施例提供的基于雷达的手势识别装置来执行，该装置可以由软件和/或硬件的方式实现，通常配置于电子设备中，该方法可应用于智能家居设备的手势控制等场景，如图1所示，基于雷达的手势识别方法具体包括如下步骤：

S101、获取毫米波雷达采集的回波数据，并对回波数据进行预处理，得到关于回波数据的多种图谱，图谱包括距离-时间谱、速度-时间谱、方位谱和俯仰谱。

在用户做手势过程中，毫米波雷达向预设方向发射雷达信号，同时，毫米波雷达接收用户的手反射回的回波信号，将回波信号转换为电信号，再经模数转换器转换为数字信号，得到回波数据。电子设备从毫米波雷达获取回波数据，并对回波数据进行预处理，得到关于回波数据的多种图谱，图谱包括但不限于距离-时间谱、速度-时间谱、方位谱和俯仰谱。

示例性的，在本发明的一些实施例中，获取上述多种图谱的方法如下：

1、从回波数据滤除静止的背景成分，得到滤除背景成分后的回波数据。

在本发明实施例中，借助动目标显示技术，利用动态目标与静止目标的多普勒效应在频谱上存在的差异，采用阻带滤波抑制静止目标的回波，从回波数据滤除静止的背景成分，保留动态目标成分，使得回波数据的数据量减少，提高了数据处理效率。

2、对滤除背景成分后的回波数据在距离维度和速度维度分别进行快速傅里叶变换，得到原始的距离-多普勒图。

对滤除背景成分后的回波数据在距离维度和速度维度分别进行依次快速傅里叶变换，得到原始的距离-多普勒图。其中，距离-多普勒图中横轴是速度索引，纵轴是距离索引，其值的大小反映到距离-多普勒图上就是颜色，目标会呈现在距离-多普勒图上，表现为距离-多普勒图上的一团能量较高的像素点。

3、对原始的距离-多普勒图中的干扰目标进行过滤，得到只包含人手的最终的距离-多普勒图。

在本发明实施例中，采用恒虚警检测器检测原始的距离-多普勒图中的干扰目标，并从原始的距离-多普勒图中去除干扰目标，得到只包含人手的最终的距离-多普勒图，消除干扰目标对手势识别的影响，提高手势识别准确度。

4、基于最终的距离-多普勒图，确定距离-时间谱、速度-时间谱、方位谱和俯仰谱。

示例性的，在本发明实施例中，对最终的距离-多普勒图在纵轴进行投影，并且逐帧拼接，得到距离-时间谱，对最终的距离-多普勒图在横轴进行投影，并且逐帧拼接，得到速度-时间谱，对最终的距离-多普勒图中检测到的人手目标点进行波达方向估计，即在水平的通道维度做角度快速傅里叶变换，并且逐帧拼接，得到方位谱，在竖直的通道维做角度快速傅里叶变换，并且逐帧拼接，得到俯仰谱。

S102、将各图谱向量化，并将各图谱的向量在维度上进行拼接，得到融合图谱向量。

示例性的，在本发明实施例中，将上述多种图谱转换为向量，并将各图谱的向量在维度上进行拼接，得到融合图谱向量。图谱的向量化可以将按照预设的顺序将图谱中的像素点的像素值依次排列，得到一个向量，并对该向量进行归一化处理，得到一个多维的向量，该向量的维度即为图谱中像素点的数量。本发明实施例通过将关于回波数据的多种图谱的向量进行融合，丰富了特征维度，提高了手势识别准确性。

S103、将融合图谱向量输入编码器中，编码器基于注意力机制对融合图谱向量进行编码，得到图像编码特征。

在本发明实施例中，将融合图谱向量输入编码器中，示例性的，编码器基于自注意力机制，对融合图谱向量进行编码，得到图像编码特征。融合图谱向量是一个维度非常大的序列，自注意力机制通常用于解决序列中的长依赖问题，即模型需要在序列的不同位置之间保持联系，以便正确理解和处理序列中的信息。

图2为本发明实施例提供的一种编码器的结构示意图，如图2所示，示例性的，在本发明的一些实施例中，编码器Encoder包括多个依次连接的编码单元，编码器的处理过程如下：

在第i个编码单元中基于自注意力机制对第i-1个编码单元的输出特征进行处理，得到第i个编码单元的输出特征，其中，第一个编码单元的输入特征为融合图谱向量E1，最后一个编码单元的输出特征为图像编码特征E2。即前一个编码单元的输出特征作为后一个编码单元的输入特征。

图3为本发明实施例提供的一种编码单元的结构示意图，如图3所示，编码单元包括第一归一化层Norm1、第一多头注意力层Multi-Head Attention1、第二归一化层Norm2、第三归一化层Norm3、第一前馈层FFN1和第四归一化层Norm4。对于其中的第i个编码单元，其处理过程为：

1、在第一归一化层中对输入特征进行归一化处理，得到第一归一化特征。

在第一归一化层中对输入特征进行归一化处理，得到第一归一化特征。对于第一个编码单元而言，其输入特征为融合图谱向量E1，对于后续的编码单元，其输入特征为前一编码单元的输出特征。

2、在第一多头注意力层中基于自注意力机制对第一归一化特征进行处理，得到第一注意力特征、

在第一多头注意力层中基于自注意力机制对第一归一化特征进行处理，得到第一注意力特征。示例性的，对第一归一化特征分别进行三次线性变换，得到三个向量，以其中两个向量为键向量K和值向量V，以另一个向量为查询向量Q，计算第一注意力特征。

3、在第二归一化层中对第一注意力特征进行归一化处理，得到第二归一化特征。

4、融合编码单元的输入特征与第二归一化特征，得到第一融合特征。

示例性的，将编码单元的输入特征与第二归一化特征在特征维度上进行拼接，得到第一融合特征。

5、在第三归一化层中对第一融合特征进行归一化处理，得到第三归一化特征。

6、在第一前馈层中对第三归一化特征进行全连接映射，得到第一映射特征。

示例性的，第一前馈层为全连接层，在第一前馈层中对第三归一化特征进行全连接映射，得到第一映射特征。

7、在第四归一化层中对第一映射特征进行归一化处理，得到第四归一化特征。

8、融合第四归一化特征与第一融合特征，得到第i个编码单元的输出特征。

示例性的，将第四归一化特征与第一融合特征在特征维度上进行拼接，得到该编码单元的输出特征。对于最后一个编码单元而言，其输出特征即为整个编码器输出的图像编码特征E2。

S104、将图像编码特征和表征多种不同手势的手势嵌入特征输入解码器中，解码器分别以图像编码特征和表征多种不同手势的手势嵌入特征为可学习的特征，基于交叉注意力机制对图像编码特征和手势嵌入特征进行处理，得到手势识别特征。

示例性的，在本发明实施例中，手势嵌入特征包括多种向量，对应多个手势。在训练过程中，首先初始化手势嵌入特征，将所有手势视为为可学习的嵌入特征通过不断的训练学习，得到表征多种不同手势的手势嵌入特征。

在本发明实施例中，将图像编码特征和表征多种不同手势的手势嵌入特征输入解码器中，解码器分别以图像编码特征和表征多种不同手势的手势嵌入特征为可学习的特征，基于交叉注意力机制对图像编码特征和手势嵌入特征进行处理，图像编码特征从手势嵌入特征中学习手势识别信息，手势嵌入特征从图像编码特征中学习图像信息，并最终融合，得到手势识别特征，提高了手势识别的准确度。

图4为本发明实施例提供的一种解码器的结构示意图，如图4所示，解码器Decoder包括多层(图4中以6层为示例)依次堆叠的解码模块，每一层解码模块包括第一解码单元(图4中token attention)和第二解码单元(图4中image attention)，解码器的处理过程如下：

1、在第i个解码模块的第一解码单元中，以第i-1个解码模块中第二解码单元的输出特征作为注意力机制中的键向量K和值向量V，以第i-1个解码模块中第一解码单元的输出特征作为注意力机制中的查询向量Q，更新手势嵌入特征，得到第i个解码模块中第一解码单元的输出特征，其中，第一个解码模块的第一解码单元以图像编码特征E2为键向量K和值向量V，以手势嵌入特征T1为查询向量Q。

2、在第i个解码模块的第二解码单元中，以第i个解码模块中第一解码单元的输出特征作为注意力机制中的键向量K和值向量V，以第i-1个解码模块中第二解码单元的输出特征作为注意力机制中的查询向量Q，更新图像编码特征，得到第i个解码模块中第二解码单元的输出特征，其中，第一个解码模块的第二解码单元以手势嵌入特征T1为键向量K和值向量V，以图像编码特征E2为查询向量Q。

如此，多层第一解码单元(token attention)不断更新学习手势嵌入特征，多层第二解码单元(image attention)不断更新学习图像编码特征，同时，第一解码单元(tokenattention)和第二解码单元(image attention)交叉学习，即图像编码特征中融入手势嵌入特征中的手势识别信息，手势嵌入特征中融入图像编码特征中的图像信息，从而提高手势识别准确度。

3、融合最后一个解码模块的第一解码单元的输出特征和最后一个解码模块的第二解码单元的输出特征，得到手势识别特征。

在本发明实施例中，采用加权融合或直接维度拼接的方式融合最后一个解码模块的第一解码单元的输出特征和最后一个解码模块的第二解码单元的输出特征，得到手势识别特征E3。

图5为本发明实施例提供的一种解码模块的结构示意图，如图5所示，第一解码单元(token attention)包括依次堆叠的交叉注意力层Cross-Attention、第五归一化层Norm5、第二前馈层FFN2和第六归一化层Norm6。相应的，第二解码单元(image attention)包括依次堆叠的交叉注意力层Cross-Attention、第七归一化层Norm7、第三前馈层FFN3和第八归一化层Norm8。

解码模块的处理过程如下：

在第一解码单元的交叉注意力层中，以第i-1个解码模块中第二解码单元的输出特征作为注意力机制中的键向量K和值向量V，以第i-1个解码模块中第一解码单元的输出特征作为注意力机制中的查询向量Q，计算交叉注意力层的输出特征。

将交叉注意力层的输出特征与第i-1个解码模块中第一解码单元的输出特征进行拼接，得到第一拼接特征。

在第五归一化层中，对第一拼接特征进行归一化处理，得到第五归一化特征。

在第二前馈层中，对第五归一化特征进行全连接映射，得到第二映射特征。

在第六归一化层中，将第二映射特征进行归一化处理，得到第六归一化特征。

将第二映射特征与第六归一化特征进行拼接，得到第i个解码模块中第一解码单元的输出特征。

类似的，在第二解码单元的交叉注意力层中，以第i个解码模块中第一解码单元的输出特征作为注意力机制中的键向量K和值向量V，以第i-1个解码模块中第二解码单元的输出特征作为注意力机制中的查询向量Q，计算交叉注意力层的输出特征。

将交叉注意力层的输出特征与第i-1个解码模块中第二解码单元的输出特征进行拼接，得到第二拼接特征。

在第七归一化层中，对第二拼接特征进行归一化处理，得到第七归一化特征。

在第三前馈层中，对第七归一化特征进行全连接映射，得到第三映射特征。

在第八归一化层中，将第三映射特征进行归一化处理，得到第八归一化特征。

将第三映射特征与第八归一化特征进行拼接，得到第i个解码模块中第二解码单元的输出特征。

S105、基于手势识别特征预测手势识别结果。

在本发明实施例中，将手势识别特征输入包括全连接层的分类器或多层感知机中，将手势识别特征映射到手势识别概率空间，得到属于每一种手势的概率值，取概率值最大的手势类别作为手势识别结果。

本发明实施例提供的基于雷达的手势识别方法，包括：获取毫米波雷达采集的回波数据，并对回波数据进行预处理，得到关于回波数据的多种图谱，图谱包括距离-时间谱、速度-时间谱、方位谱和俯仰谱，将各图谱向量化，并将各图谱的向量在维度上进行拼接，得到融合图谱向量，将融合图谱向量输入编码器中，编码器基于注意力机制对融合图谱向量进行编码，得到图像编码特征，将图像编码特征和表征多种不同手势的手势嵌入特征输入解码器中，解码器分别以图像编码特征和表征多种不同手势的手势嵌入特征为可学习的特征，基于交叉注意力机制对图像编码特征和手势嵌入特征进行处理，得到手势识别特征，基于手势识别特征预测手势识别结果。本发明通过将关于回波数据的多种图谱的向量进行融合，丰富了特征维度，此外，基于交叉注意力机制对图像编码特征和手势嵌入特征进行处理，图像编码特征从手势嵌入特征中学习手势识别信息，手势嵌入特征从图像编码特征中学习图像信息，并最终融合，得到手势识别特征，提高了手势识别的准确度。

本发明实施例还提供了一种基于雷达的手势识别装置，图6为本发明实施例提供的一种基于雷达的手势识别装置的结构示意图，如图6所示，包括：

数据预处理模块201，用于获取毫米波雷达采集的回波数据，并对所述回波数据进行预处理，得到关于所述回波数据的多种图谱，所述图谱包括距离-时间谱、速度-时间谱、方位谱和俯仰谱；

融合模块202，用于将各图谱向量化，并将各图谱的向量在维度上进行拼接，得到融合图谱向量；

图像编码模块203，用于将所述融合图谱向量输入编码器中，所述编码器基于注意力机制对所述融合图谱向量进行编码，得到图像编码特征；

特征提取模块204，用于将所述图像编码特征和表征多种不同手势的手势嵌入特征输入解码器中，所述解码器分别以所述图像编码特征和表征多种不同手势的手势嵌入特征为可学习的特征，基于交叉注意力机制对所述图像编码特征和所述手势嵌入特征进行处理，得到手势识别特征；

手势识别模块205，用于基于所述手势识别特征预测手势识别结果。

在本发明的一些实施例中，数据预处理模块201包括：

背景滤除子模块，用于从所述回波数据滤除静止的背景成分，得到滤除背景成分后的回波数据；

傅里叶变换子模块，用于对滤除背景成分后的回波数据在距离维度和速度维度分别进行快速傅里叶变换，得到原始的距离-多普勒图；

干扰目标滤除子模块，用于对原始的距离-多普勒图中的干扰目标进行过滤，得到只包含人手的最终的距离-多普勒图；

图谱确定子模块，用户基于最终的距离-多普勒图，确定距离-时间谱、速度-时间谱、方位谱和俯仰谱。

在本发明的一些实施例中，所述编码器包括多个依次连接的编码单元，图像编码模块203包括：

图像编码子模块，用于在第i个编码单元中基于自注意力机制对第i-1个编码单元的输出特征进行处理，得到第i个编码单元的输出特征，其中，第一个编码单元的输入特征为所述融合图谱向量，最后一个编码单元的输出特征为图像编码特征。

在本发明的一些实施例中，所述编码单元包括第一归一化层、第一多头注意力层、第二归一化层、第三归一化层、第一前馈层和第四归一化层，图像编码子模块包括：

第一归一化单元，用于在所述第一归一化层中对输入特征进行归一化处理，得到第一归一化特征；

第一注意力单元，用于在所述第一多头注意力层中基于自注意力机制对所述第一归一化特征进行处理，得到第一注意力特征；

第二归一化单元，用于在所述第二归一化层中对所述第一注意力特征进行归一化处理，得到第二归一化特征；

第一融合单元，用于融合所述编码单元的输入特征与所述第二归一化特征，得到第一融合特征；

第三归一化单元，用于在所述第三归一化层中对所述第一融合特征进行归一化处理，得到第三归一化特征；

第一前馈单元，用于在所述第一前馈层中对所述第三归一化特征进行全连接映射，得到第一映射特征；

第四归一化单元，用于在所述第四归一化层中对所述第一映射特征进行归一化处理，得到第四归一化特征；

第二融合单元，用于融合所述第四归一化特征与所述第一融合特征，得到第i个编码单元的输出特征。

在本发明的一些实施例中，所述解码器包括多层依次堆叠的解码模块，所述解码模块包括第一解码单元和第二解码单元，特征提取模块204包括：

第一解码处理子模块，用于在第i个解码模块的第一解码单元中，以第i-1个解码模块中第二解码单元的输出特征作为注意力机制中的键向量和值向量，以第i-1个解码模块中第一解码单元的输出特征作为注意力机制中的查询向量，更新所述手势嵌入特征，得到第i个解码模块中第一解码单元的输出特征，其中，第一个解码模块的第一解码单元以所述图像编码特征为键向量和值向量，以所述手势嵌入特征为查询向量；

第二解码处理子模块，用于在第i个解码模块的第二解码单元中，以第i个解码模块中第一解码单元的输出特征作为注意力机制中的键向量和值向量，以第i-1个解码模块中第二解码单元的输出特征作为注意力机制中的查询向量，更新所述图像编码特征，得到第i个解码模块中第二解码单元的输出特征，其中，第一个解码模块的第二解码单元以所述手势嵌入特征为键向量和值向量，以所述图像编码特征为查询向量；

特征融合子模块，用于融合最后一个解码模块的第一解码单元的输出特征和最后一个解码模块的第二解码单元的输出特征，得到手势识别特征。

在本发明的一些实施例中，所述第一解码单元包括依次堆叠的交叉注意力层、第五归一化层、第二前馈层和第六归一化层，第一解码处理子模块包括：

第一交叉注意力单元，用于在第一解码单元的交叉注意力层中，以第i-1个解码模块中第二解码单元的输出特征作为注意力机制中的键向量和值向量，以第i-1个解码模块中第一解码单元的输出特征作为注意力机制中的查询向量，计算交叉注意力层的输出特征；

第一拼接单元，用于将交叉注意力层的输出特征与第i-1个解码模块中第一解码单元的输出特征进行拼接，得到第一拼接特征；

第五归一化单元，用于在第五归一化层中，对所述第一拼接特征进行归一化处理，得到第五归一化特征；

第二前馈单元，用于在第二前馈层中，对所述第五归一化特征进行全连接映射，得到第二映射特征；

第六归一化单元，用于在第六归一化层中，将所述第二映射特征进行归一化处理，得到第六归一化特征；

第二拼接单元，用于将所述第二映射特征与所述第六归一化特征进行拼接，得到第i个解码模块中第一解码单元的输出特征。

在本发明的一些实施例中，所述第二解码单元包括依次堆叠的交叉注意力层、第七归一化层、第三前馈层和第八归一化层，第二解码处理子模块包括：

第二交叉注意力单元，用于在第二解码单元的交叉注意力层中，以第i个解码模块中第一解码单元的输出特征作为注意力机制中的键向量和值向量，以第i-1个解码模块中第二解码单元的输出特征作为注意力机制中的查询向量，计算交叉注意力层的输出特征；

第三拼接单元，用于将交叉注意力层的输出特征与第i-1个解码模块中第二解码单元的输出特征进行拼接，得到第二拼接特征；

第七归一化单元，用于在第七归一化层中，对所述第二拼接特征进行归一化处理，得到第七归一化特征；

第三前馈单元，用于在第三前馈层中，对所述第七归一化特征进行全连接映射，得到第三映射特征；

第八归一化单元，用于在第八归一化层中，将所述第三映射特征进行归一化处理，得到第八归一化特征；

第四拼接单元，用于将所述第三映射特征与所述第八归一化特征进行拼接，得到第i个解码模块中第二解码单元的输出特征。

上述基于雷达的手势识别装置可执行本发明前述实施例所提供的基于雷达的手势识别方法，具备执行基于雷达的手势识别方法相应的功能模块和有益效果。

图7为本发明实施例提供的一种电子设备的结构示意图，电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图7所示，电子设备包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

电子设备中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如基于雷达的手势识别方法。

在一些实施例中，基于雷达的手势识别方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的基于雷达的手势识别方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行基于雷达的手势识别方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

本发明实施例还提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现如本申请任意实施例所提供的基于雷达的手势识别方法。

计算机程序产品在实现的过程中，可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (9)

1.一种基于雷达的手势识别方法，其特征在于，包括：

获取毫米波雷达采集的回波数据，并对所述回波数据进行预处理，得到关于所述回波数据的多种图谱，所述图谱包括距离-时间谱、速度-时间谱、方位谱和俯仰谱；

将各图谱向量化，并将各图谱的向量在维度上进行拼接，得到融合图谱向量；

将所述融合图谱向量输入编码器中，所述编码器基于注意力机制对所述融合图谱向量进行编码，得到图像编码特征；

将所述图像编码特征和表征多种不同手势的手势嵌入特征输入解码器中，所述解码器分别以所述图像编码特征和表征多种不同手势的手势嵌入特征为可学习的特征，基于交叉注意力机制对所述图像编码特征和所述手势嵌入特征进行处理，得到手势识别特征；

基于所述手势识别特征预测手势识别结果；

所述解码器包括多层依次堆叠的解码模块，所述解码模块包括第一解码单元和第二解码单元，所述解码器分别以所述图像编码特征和表征多种不同手势的手势嵌入特征为可学习的特征，基于交叉注意力机制对所述图像编码特征和所述手势嵌入特征进行处理，得到手势识别特征，包括：

在第i个解码模块的第一解码单元中，以第i-1个解码模块中第二解码单元的输出特征作为注意力机制中的键向量和值向量，以第i-1个解码模块中第一解码单元的输出特征作为注意力机制中的查询向量，更新所述手势嵌入特征，得到第i个解码模块中第一解码单元的输出特征，其中，第一个解码模块的第一解码单元以所述图像编码特征为键向量和值向量，以所述手势嵌入特征为查询向量；

在第i个解码模块的第二解码单元中，以第i个解码模块中第一解码单元的输出特征作为注意力机制中的键向量和值向量，以第i-1个解码模块中第二解码单元的输出特征作为注意力机制中的查询向量，更新所述图像编码特征，得到第i个解码模块中第二解码单元的输出特征，其中，第一个解码模块的第二解码单元以所述手势嵌入特征为键向量和值向量，以所述图像编码特征为查询向量；

融合最后一个解码模块的第一解码单元的输出特征和最后一个解码模块的第二解码单元的输出特征，得到手势识别特征。

2.根据权利要求1所述的基于雷达的手势识别方法，其特征在于，对所述回波数据进行预处理，得到关于所述回波数据的多种图谱，包括：

从所述回波数据滤除静止的背景成分，得到滤除背景成分后的回波数据；

对滤除背景成分后的回波数据在距离维度和速度维度分别进行快速傅里叶变换，得到原始的距离-多普勒图；

对原始的距离-多普勒图中的干扰目标进行过滤，得到只包含人手的最终的距离-多普勒图；

基于最终的距离-多普勒图，确定距离-时间谱、速度-时间谱、方位谱和俯仰谱。

3.根据权利要求1所述的基于雷达的手势识别方法，其特征在于，所述编码器包括多个依次连接的编码单元，所述编码器基于注意力机制对所述融合图谱向量进行编码，得到图像编码特征，包括：

在第i个编码单元中基于自注意力机制对第i-1个编码单元的输出特征进行处理，得到第i个编码单元的输出特征，其中，第一个编码单元的输入特征为所述融合图谱向量，最后一个编码单元的输出特征为图像编码特征。

4.根据权利要求3所述的基于雷达的手势识别方法，其特征在于，所述编码单元包括第一归一化层、第一多头注意力层、第二归一化层、第三归一化层、第一前馈层和第四归一化层，在第i个编码单元中基于自注意力机制对第i-1个编码单元的输出特征进行处理，得到第i个编码单元的输出特征，包括：

在所述第一归一化层中对输入特征进行归一化处理，得到第一归一化特征；

在所述第一多头注意力层中基于自注意力机制对所述第一归一化特征进行处理，得到第一注意力特征；

在所述第二归一化层中对所述第一注意力特征进行归一化处理，得到第二归一化特征；

融合所述编码单元的输入特征与所述第二归一化特征，得到第一融合特征；

在所述第三归一化层中对所述第一融合特征进行归一化处理，得到第三归一化特征；

在所述第一前馈层中对所述第三归一化特征进行全连接映射，得到第一映射特征；

在所述第四归一化层中对所述第一映射特征进行归一化处理，得到第四归一化特征；

融合所述第四归一化特征与所述第一融合特征，得到第i个编码单元的输出特征。

5.根据权利要求1所述的基于雷达的手势识别方法，其特征在于，所述第一解码单元包括依次堆叠的交叉注意力层、第五归一化层、第二前馈层和第六归一化层，在第i个解码模块的第一解码单元中，以第i-1个解码模块中第二解码单元的输出特征作为注意力机制中的键向量和值向量，以第i-1个解码模块中第一解码单元的输出特征作为注意力机制中的查询向量，更新所述手势嵌入特征，得到第i个解码模块中第一解码单元的输出特征，包括：

在第一解码单元的交叉注意力层中，以第i-1个解码模块中第二解码单元的输出特征作为注意力机制中的键向量和值向量，以第i-1个解码模块中第一解码单元的输出特征作为注意力机制中的查询向量，计算交叉注意力层的输出特征；

将交叉注意力层的输出特征与第i-1个解码模块中第一解码单元的输出特征进行拼接，得到第一拼接特征；

在第五归一化层中，对所述第一拼接特征进行归一化处理，得到第五归一化特征；

在第二前馈层中，对所述第五归一化特征进行全连接映射，得到第二映射特征；

在第六归一化层中，将所述第二映射特征进行归一化处理，得到第六归一化特征；

将所述第二映射特征与所述第六归一化特征进行拼接，得到第i个解码模块中第一解码单元的输出特征。

6.根据权利要求1所述的基于雷达的手势识别方法，其特征在于，所述第二解码单元包括依次堆叠的交叉注意力层、第七归一化层、第三前馈层和第八归一化层，在第i个解码模块的第二解码单元中，以第i个解码模块中第一解码单元的输出特征作为注意力机制中的键向量和值向量，以第i-1个解码模块中第二解码单元的输出特征作为注意力机制中的查询向量，更新所述图像编码特征，得到第i个解码模块中第二解码单元的输出特征，包括：

在第二解码单元的交叉注意力层中，以第i个解码模块中第一解码单元的输出特征作为注意力机制中的键向量和值向量，以第i-1个解码模块中第二解码单元的输出特征作为注意力机制中的查询向量，计算交叉注意力层的输出特征；

将交叉注意力层的输出特征与第i-1个解码模块中第二解码单元的输出特征进行拼接，得到第二拼接特征；

在第七归一化层中，对所述第二拼接特征进行归一化处理，得到第七归一化特征；

在第三前馈层中，对所述第七归一化特征进行全连接映射，得到第三映射特征；

在第八归一化层中，将所述第三映射特征进行归一化处理，得到第八归一化特征；

将所述第三映射特征与所述第八归一化特征进行拼接，得到第i个解码模块中第二解码单元的输出特征。

7.一种基于雷达的手势识别装置，其特征在于，包括：

数据预处理模块，用于获取毫米波雷达采集的回波数据，并对所述回波数据进行预处理，得到关于所述回波数据的多种图谱，所述图谱包括距离-时间谱、速度-时间谱、方位谱和俯仰谱；

融合模块，用于将各图谱向量化，并将各图谱的向量在维度上进行拼接，得到融合图谱向量；

图像编码模块，用于将所述融合图谱向量输入编码器中，所述编码器基于注意力机制对所述融合图谱向量进行编码，得到图像编码特征；

特征提取模块，用于将所述图像编码特征和表征多种不同手势的手势嵌入特征输入解码器中，所述解码器分别以所述图像编码特征和表征多种不同手势的手势嵌入特征为可学习的特征，基于交叉注意力机制对所述图像编码特征和所述手势嵌入特征进行处理，得到手势识别特征；

手势识别模块，用于基于所述手势识别特征预测手势识别结果；

解码器包括多层依次堆叠的解码模块，所述解码模块包括第一解码单元和第二解码单元，特征提取模块包括：

第一解码处理子模块，用于在第i个解码模块的第一解码单元中，以第i-1个解码模块中第二解码单元的输出特征作为注意力机制中的键向量和值向量，以第i-1个解码模块中第一解码单元的输出特征作为注意力机制中的查询向量，更新所述手势嵌入特征，得到第i个解码模块中第一解码单元的输出特征，其中，第一个解码模块的第一解码单元以所述图像编码特征为键向量和值向量，以所述手势嵌入特征为查询向量；

第二解码处理子模块，用于在第i个解码模块的第二解码单元中，以第i个解码模块中第一解码单元的输出特征作为注意力机制中的键向量和值向量，以第i-1个解码模块中第二解码单元的输出特征作为注意力机制中的查询向量，更新所述图像编码特征，得到第i个解码模块中第二解码单元的输出特征，其中，第一个解码模块的第二解码单元以所述手势嵌入特征为键向量和值向量，以所述图像编码特征为查询向量；

特征融合子模块，用于融合最后一个解码模块的第一解码单元的输出特征和最后一个解码模块的第二解码单元的输出特征，得到手势识别特征。

8.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6任一所述的基于雷达的手势识别方法。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6任一所述的基于雷达的手势识别方法。