CN114397963B - 一种手势识别方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种手势识别方法、装置、电子设备及存储介质，涉及人工智能技术领域。其中，该方法包括：根据手势的三维雷达回波数据确定手势的轨迹序列；根据轨迹序列识别手势的起始点和终止点，并根据起始点和终止点从轨迹序列中提取出有效轨迹段；将有效轨迹段进行坐标转化得到手势的二维坐标点，并对二维坐标点进行位置搬移和重采样处理得到手势的坐标序列；将手势的坐标序列输入至预先训练的手势识别模型中，并根据手势识别模型的输出确定手势的识别结果。本申请实施例提供的技术方案，可以提高手势识别的准确率，并且可以降低计算复杂度。

Description

一种手势识别方法、装置、电子设备及存储介质

技术领域

本申请实施例涉及人工智能技术领域，尤其涉及一种手势识别方法、装置、电子设备及存储介质。

背景技术

伴随信息技术的高速发展，非接触式手势识别改变了我们与日常技术的交互方式，它可替代或改变输入控制设备的输入控制方式，如键盘、遥控、密码箱、门禁等，摆脱触摸屏和按键的束缚，解放双手，实现智能输入和控制。

在手势识别技术中可以分为三类：(1)基于惯性传感器的识别方式，通过由多个传感器组成的微机电系统感知手姿态变化并采集数据，但需固定在肢体上，影响了用户在使用手势进行交互时的自然性与舒适性；(2)基于视觉的手势识别方式，能够识别的手势种类多且识别准确率高，但其高分辨图像数据量大，处理时间长，视觉设备视距有限、视线容易受到阻挡、容易受光线强度影响，且存在侵犯隐私等问题；(3)基于雷达等无线射频传感器的手势识别方法，雷达传感器具有不受光照、灰尘等外部环境影响、无需接触、具有天然的隐私保护功能的特点，可以解决由于光线不佳而导致手势识别精度低下的问题，可保护用户隐私，并且雷达波具有一定的穿透能力，可探测感知一定程度遮蔽物后的空间。因而基于雷达等无线射频传感器的手势识别方法是相对较好的手势识别技术，但是难点在于在开放的时间和空间内检测手势的起始与结束，不同人手势写法的不同以及手势大小、位置和速度等的差异，而导致手势识别的准确率低以及计算复杂度高。

发明内容

本申请实施例提供了一种手势识别方法、装置、电子设备及存储介质，以实现提高手势识别的准确率，并且可以降低计算复杂度。

第一方面，本申请实施例提供了一种手势识别方法，该方法包括：

根据手势的三维雷达回波数据确定所述手势的轨迹序列；

根据所述轨迹序列识别所述手势的起始点和终止点，并根据所述起始点和所述终止点从所述轨迹序列中提取出有效轨迹段；

将所述有效轨迹段进行坐标转化得到所述手势的二维坐标点，并对所述二维坐标点进行位置搬移和重采样处理得到所述手势的坐标序列；

将所述手势的坐标序列输入至预先训练的手势识别模型中，并根据所述手势识别模型的输出确定所述手势的识别结果。

第二方面，本申请实施例提供了一种手势识别装置，该装置包括：

轨迹序列确定模块，用于根据手势的三维雷达回波数据确定所述手势的轨迹序列；

有效轨迹段确定模块，用于根据所述轨迹序列识别所述手势的起始点和终止点，并根据所述起始点和所述终止点从所述轨迹序列中提取出有效轨迹段；

坐标序列确定模块，用于将所述有效轨迹段进行坐标转化得到所述手势的二维坐标点，并对所述二维坐标点进行位置搬移和重采样处理得到所述手势的坐标序列；

识别结果确定模块，用于将所述手势的坐标序列输入至预先训练的手势识别模型中，并根据所述手势识别模型的输出确定所述手势的识别结果。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本申请任意实施例所述的手势识别方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本申请任意实施例所述的手势识别方法。

本申请实施例提供了一种手势识别方法、装置、电子设备及存储介质，该方法包括：根据手势的三维雷达回波数据确定手势的轨迹序列；根据轨迹序列识别手势的起始点和终止点，并根据起始点和终止点从轨迹序列中提取出有效轨迹段；将有效轨迹段进行坐标转化得到手势的二维坐标点，并对二维坐标点进行位置搬移和重采样处理得到手势的坐标序列；将手势的坐标序列输入至预先训练的手势识别模型中，并根据手势识别模型的输出确定手势的识别结果。本申请提出双自适应门限梯度寻谷算法对手势的起始点和终止点进行判断并截取出有效轨迹段，可以在小样本网络下去除无效干扰；通过对截取后的有效轨迹段进行位置搬移、归一化和重采样，去除不同人书写数字时的位置、大小及快慢的差异，将数据限制在同一个范围内，增强同种类间相似性和不同种类间的可比性，提高手势识别模型的识别率；因此，本申请可以解决现有技术中无法在开放的时间和空间内检测手势的起始与结束，以及因不同人手势写法的不同以及手势大小、位置和速度等的差异所造成的手势识别准确率低，可提高手势识别的准确率，并且可以降低计算复杂度。

应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其他特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1为本申请实施例提供的一种手势识别方法的第一流程示意图；

图2为本申请实施例提供的凌空数字书写手势区域示意图；

图3为本申请实施例提供的手势识别模型网络框架示意图；

图4为本申请实施例提供的一种手势识别方法的第二流程示意图；

图5为本申请实施例提供的一种手势识别装置的结构示意图；

图6是用来实现本申请实施例的一种手势识别方法的电子设备的框图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例一

图1为本申请实施例提供的一种手势识别方法的第一流程示意图；图2为本申请实施例提供的凌空数字书写手势区域示意图；图3为本申请实施例提供的手势识别模型网络框架示意图。本实施例可适用于基于雷达对用户的手势进行识别的情况。本实施例提供的一种手势识别方法可以由本申请实施例提供的手势识别装置来执行，该装置可以通过软件和/或硬件的方式实现，并集成在执行本方法的电子设备中。优选的，本申请实施例中的电子设备可以是具有多收多发功能的雷达，即多输入多输出(Multi-Input Multi-Output，MIMO)雷达。可选的，本申请可以选用德州仪器TI公司生产的1642多发多收雷达模块或其他多发多收雷达射频模块。

参见图1，本实施例的方法包括但不限于如下步骤：

S110、根据手势的三维雷达回波数据确定手势的轨迹序列。

其中，手势可以是凌空书写手势、凌空指示类手势(上拉、下推、左挥、右挥、顺时针画圆、逆时针画圆、打叉、左右挥、上下推拉等)及其他轨迹类手势。其中，凌空书写手势是指使用者无需接触屏幕即可凭借相关手势凌空完成输入，凌空书写手势可以是凌空数字书写手势(如0-9的阿拉伯数字)，可以是凌空字母书写手势(如a-z的英文大小写字母)，还可以是凌空汉字书写手势，本申请以凌空数字书写手势为例对手势识别方法进行介绍。三维雷达回波数据是指快时间维、慢时间维和天线维的雷达回波数据。轨迹序列是指凌空数字书写过程中每一帧手势的二维空间位置信息，二维空间位置信息包括手势与雷达之间的距离和手势与雷达之间连线的水平夹角的角度。

在本申请实施例中，将雷达放置于桌面上通过发射天线朝上发射雷达信号，或者固定于屏幕上端通过发射天线朝下发射雷达信号。如图2所示为凌空数字书写手势区域示意图，在该区域内挥动手在空中进行连笔式数字书写，该区域范围(如有效距离、有效角度)可调节，数字书写的大小、快慢和位置不作限制。通过雷达的接收天线接收由手势反射回来的雷达回波信号，对雷达回波信号进行信号处理得到三维雷达回波数据，再对三维雷达回波数据进行数据处理得到手势与雷达之间的距离和手势与雷达之间连线的水平夹角的角度，从而得到手势的轨迹序列。

S120、根据轨迹序列识别手势的起始点和终止点，并根据起始点和终止点从轨迹序列中提取出有效轨迹段。

在本申请实施例中，由于手势进入凌空数字书写手势区域的方式和位置等的随机性，轨迹上会出现手势进入和手势退出的轨迹，这会给小样本数据下的网络识别带来比较大的干扰。因此，根据人的习惯和在可接受的约束条件下，在数字书写开始前和结束时需有个0.2-0.5s的短暂停顿(或者更长时间)，并通过双自适应门限梯度寻谷算法从轨迹序列中判断手势的起始点和终止点，将有效轨迹段提取出来，提高后续网络识别的识别率。

具体的，通过双自适应门限梯度寻谷算法从轨迹序列中判断手势的起始点和终止点的过程为：轨迹序列中每一帧手势包括手势与雷达之间的距离和手势与雷达之间连线的水平夹角的角度，因而轨迹序列包括手势与雷达之间的距离轨迹序列和角度轨迹序列。轨迹序列可以表示为C＝[C_d，C_v]，其中，C_d为距离轨迹序列，C_v为角度轨迹序列。根据距离轨迹序列和角度轨迹序列分别计算手势的起始点和终止点。

其中，根据距离轨迹序列计算第一起始点和第一终止点的过程为：对距离轨迹序列进行一阶差分、平滑、取绝对值得到距离轨迹序列的一阶绝对差分，并确定距离轨迹序列的一阶绝对差分的第一所有峰谷值；根据预设高门限和预设低门限对第一所有峰谷值进行滤波得到第一有效峰谷值，将第一有效峰谷值中第一个峰值前的谷值作为起始点，将第一有效峰谷值中最后一个峰值后的谷值作为终止点，从而得到距离轨迹序列对应的第一起始点和第一终止点。

其中，根据角度轨迹序列计算第二起始点和第二终止点的过程为：对角度轨迹序列进行一阶差分、平滑、取绝对值得到角度轨迹序列的一阶绝对差分，并确定角度轨迹序列的一阶绝对差分的第二所有峰谷值；根据预设高门限和预设低门限对第二所有峰谷值进行滤波得到第二有效峰谷值，将第二有效峰谷值中第一个峰值前的谷值作为起始点，将第二有效峰谷值中最后一个峰值后的谷值作为终止点，从而得到角度轨迹序列对应的第二起始点和第二终止点。

一阶绝对差分可以表示凌空数字书写手势的变化快慢、动作速度，平滑可选用高斯平滑，窗长可选为手势序列长度的30％。预设高门限表示凌空数字书写手势比较快的速度。预设低门限表示凌空数字书写手势比较慢的速度。设置预设高门限和预设低门限是为了适应于不同人不同手势的速度，预设高门限可以防止将有效的手势截取掉了，预设低门限为了寻得较小的谷值。预设高门限和预设低门限的取值可以是：先选取表示凌空数字书写手势最大速度(即所有峰谷值中的最大峰值)，将0.6倍的最大峰值作为预设高门限，将0.25倍的最大峰值作为预设低门限。

可选的，在确定出第一有效峰谷值或第二有效峰谷值之后，还可以去除首尾的无效峰。可选的，在确定出第一有效峰谷值或第二有效峰谷值之后，还可以将多个相邻且不超过低门限的谷值向内合并，以去除比较长的停顿动作。可选的，若距离轨迹序列的一阶绝对差分或角度轨迹序列的一阶绝对差分中无峰或无谷，则将轨迹序列的第一个值作为手势的起始点，将轨迹序列的最后一个值作为手势的终止点。

具体的，根据起始点和终止点从轨迹序列中提取出有效轨迹段，包括：根据第一起始点和第一终止点从轨迹序列中提取出第一有效轨迹段；根据第二起始点和第二终止点从轨迹序列中提取出第二有效轨迹段；取第一有效轨迹段和第二有效轨迹段的并集得到手势的有效轨迹段。这样设置的好处在于，可以防止丢掉有效的轨迹。

示例性的，用距离轨迹序列计算出来的第一起始点为10，第一终止点为105，那么第一有效轨迹段为(10，105)；用角度轨迹序列计算出来的第二起始点为5，第二终止点为100，那么第二有效轨迹段为(5，100)；最终手势的有效轨迹段取第一有效轨迹段和第二有效轨迹段的并集，即(5，105)。

S130、将有效轨迹段进行坐标转化得到手势的二维坐标点，并对二维坐标点进行位置搬移和重采样处理得到手势的坐标序列。

在本申请实施例中，经上述步骤S120从轨迹序列中截取有效轨迹段之后，先对有效轨迹段进行平滑处理得到平滑处理之后的有效轨迹段，最后将平滑处理之后的有效轨迹段转化为手势的二维坐标点，计算公式如下式(1)-(2)：

x＝C_d*cos(C_v) (1)

y＝C_d*sin(C_v) (2)

其中，C_d为轨迹序列中的距离轨迹序列，C_v为轨迹序列中的角度轨迹序列，x为二维坐标点中的x轴上的值，y为二维坐标点中的y轴上的值。

在本申请实施例中，由于不同人书写数字时的位置、大小、快慢的不一致，在小样本数据下，需要去除此类差异给网络带来的压力，因此，分别对二维坐标点进行位置搬移、归一化和重采样，提高手势识别模型的准确度。

具体的，对二维坐标点进行位置搬移处理得到新坐标下的二维坐标点的过程为：根据二维坐标点确定新坐标的原点位置和缩放比例；根据原点位置和缩放比例对二维坐标点进行位置搬移得到新坐标下的二维坐标点。具体公式如下式(3)-(7)：

其中，x为二维坐标点中的x轴上的值，y为二维坐标点中的y轴上的值，move_x和move_y为新坐标的原点位置，ratio为缩放比例，

为新坐标下的二维坐标点中的x轴上的值，

为新坐标下的二维坐标点中的y轴上的值。

在本申请实施例中，每个人数字书写的速度都不一样，即使书写同个数字，获得的轨迹数据的长度取决于手的运动速度，而重采样可以去除这个差异。

具体的，对新坐标下的二维坐标点进行重采样处理得到手势的坐标序列的过程为：确定新坐标下的二维坐标点中两点之间距离是否大于单位距离，若大于，则在两点之间插进一个或多个值，使之在二维空间上为均匀采样，从而得到手势的坐标序列。将手势的坐标序列记为

i为重采样的采样点数，/>

为坐标序列中的x轴上的值，/>

为坐标序列中的y轴上的值。

其中，单位距离Dist的计算过程为：先由式(8)计算每两个坐标点之间的距离dist，再由式(9)计算重采样后的每两个坐标点之间的单位距离Dist。

其中，

为新坐标下的二维坐标点中的x轴上的值，/>

为新坐标下的二维坐标点中的y轴上的值，dist为每两个坐标点之间的距离，l为二维坐标点中第l个坐标点，二维坐标点中有L个坐标点。Dist为重采样后的每两个坐标点之间的单位距离。

可选的，然后将大于单位距离Dist的两点之间进行插值，插值的常见方法有线性插值、最近邻点插值、三次样本函数插值等。

S140、将手势的坐标序列输入至预先训练的手势识别模型中，并根据手势识别模型的输出确定手势的识别结果。

在本申请实施例中，先设计基于长短时记忆(Long Short Term Memory，LSTM)神经网络的手势识别模型，可以在计算能力不强的嵌入式设备中实现边缘计算，网络训练过程中，在LSTM和全连接层之间加入dropout，可防止过拟合。如图3所示为手势识别模型网络框架示意图，将手势的坐标序列输入至预先训练的手势识别模型中，坐标序列通过64个隐藏神经元的LSTM层，再经过全连接softmax层后直接输出手势的识别结果。本申请的手势识别方法计算复杂度低，可以在一般的低功耗处理器(Advanced RISC Machine，ARM)中运行，实现嵌入式设备移植和边缘计算。

本实施例提供的技术方案，根据手势的三维雷达回波数据确定手势的轨迹序列；根据轨迹序列识别手势的起始点和终止点，并根据起始点和终止点从轨迹序列中提取出有效轨迹段；将有效轨迹段进行坐标转化得到手势的二维坐标点，并对二维坐标点进行位置搬移和重采样处理得到手势的坐标序列；将手势的坐标序列输入至预先训练的手势识别模型中，并根据手势识别模型的输出确定手势的识别结果。本申请提出双自适应门限梯度寻谷算法对手势的起始点和终止点进行判断并截取出有效轨迹段，可以在小样本网络下去除无效干扰；通过对截取后的有效轨迹段进行位置搬移、归一化和重采样，去除不同人书写数字时的位置、大小及快慢的差异，将数据限制在同一个范围内，增强同种类间相似性和不同种类间的可比性，提高手势识别模型的识别率；因此，本申请可以解决现有技术中无法在开放的时间和空间内检测手势的起始与结束，以及因不同人手势写法的不同以及手势大小、位置和速度等的差异所造成的手势识别准确率低，可提高手势识别的准确率，且计算复杂度低。

实施例二

图4为本申请实施例提供的一种手势识别方法的第二流程示意图。本申请实施例是在上述实施例的基础上进行优化，具体优化为：本实施例对三维雷达回波数据的确定过程和手势的轨迹序列的确定过程进行详细的解释说明。

参见图4，本实施例的方法包括但不限于如下步骤：

S210、接收手势的雷达回波信号，分别从快时间维、慢时间维和天线维对雷达回波信号进行采样处理得到三维雷达回波数据。

在本申请实施例中，通过雷达的发射天线向外发射具有多个调频信号的雷达信号，通过雷达的接收天线接收由手势反射回来的雷达回波信号，对雷达回波信号先经过低噪放大器和混频器处理，最后采用模数转换器分别从快时间维、慢时间维和天线维对雷达回波信号进行采样处理得到三维雷达回波数据，表示为s[m,n,k],m∈[1,M],n∈[1,N],k∈[1,K]，其中，m表示快时间维信号采样，M为距离单元个数，n表示慢时间维信号采样，N为调频信号的个数，k表示天线维信号采样，K为天线通道数。

S220、根据三维雷达回波数据确定手势与电子设备之间的距离，并确定手势与电子设备之间连线的水平夹角的角度。

其中，三维雷达回波数据为快时间维、慢时间维和天线维的三维雷达回波数据。

具体的，手势与雷达之间距离的确定过程为：在快时间维上对三维雷达回波数据进行杂波抑制处理，得到杂波抑制之后的三维雷达回波数据；在天线维和慢时间维上对杂波抑制之后的三维雷达回波数据进行非相干积累，得到非相干积累之后的三维雷达回波数据；对非相干积累之后的三维雷达回波数据进行恒虚警检测得到手势与雷达之间的距离。其中，恒虚警检测是用于检测每一帧的手势与雷达之间的距离，记为目标距离单元D。因为手势包含多个点，所以每一帧目标距离单元D中包含多个d。

在本申请实施例中，常用的杂波抑制方法有带通滤波、均值滤波、自适应迭代滤波等。这里以自适应迭代滤波为例进行说明，可表示为下式(10)-(11)：

y_p[m，n，k]＝r_p[m，n，k]-c_p[m，n，k] (10)

C_p+1[m，n，k]＝αc_p[m，n，k]+(1-α)r_p[m，n，k] (11)

其中，m表示快时间维信号采样，n表示慢时间维信号采样，k表示天线维信号采样，p表示当前帧数，r_p[m，n，k]表示s[m，n，k]对快时间维做快速傅里叶变换后的信号，y_p[m，n，k]表示杂波抑制之后的三维雷达回波数据，c_p[m，n，k]表示当前帧的杂波图，0≤α≤1表示杂波图的更新系数。

在本申请实施例中，为了提高信噪比，对杂波抑制之后的三维雷达回波数据y_p[m，n，k]在天线维和慢时间维进行非相干积累得到非相干积累之后的三维雷达回波数据

计算公式如下式(12)：

其中，m表示快时间维信号采样，n表示慢时间维信号采样，N为调频信号的个数，k表示天线维信号采样，K为天线通道数，p表示当前帧数，

为非相干积累之后的三维雷达回波数据，y_p[m，n，k]表示杂波抑制之后的三维雷达回波数据。

本申请对恒虚警检测方法不进行限定，可以是单元平均法的恒虚警检测、单元极大值法的恒虚警检测或者最小选择的恒虚警检测等。

具体的，手势与雷达之间连线的水平夹角角度的确定过程为：对杂波抑制之后的三维雷达回波数据进行角度估计得到手势与雷达之间连线的水平夹角的角度，记为二维空间位置H[d，v]，v∈[1，V]，v表示角度值，V表示最大角度范围，d表示手势与雷达之间的距离。其中，角度估计可以采用超分辨角估计方法，可以是经典二维多重信号分类算法(Multiple Signal Classification，MUSIC)。

S230、根据距离和角度确定手势的轨迹序列。

在本申请实施例中，因为手势包含多个点，每一帧目标距离单元D中包含多个d，所以先选取一个代表点作为手势质心。具体过程为：在目标距离单元D上，对二维空间位置H[d，v]进行目标检测，将角度值小于阈值的H[d，v]置0，计算公式如下式(13)，阈值可选为所有目标距离单元D最大的角度值乘以调节系数β，β的值在0和1之间，这里可取0.5。将角度值大于阈值H[d，v]与其对应的角度值进行加权平均得到手势质心位置，记为C＝[c_d，c_v]，其中，c_d为手势质心与雷达之间的距离，c_v为手势质心与雷达之间连线的水平夹角的角度。计算公式如下式(14)-(15)：

H[d，v]＝0，if(H[d，v]＜max(H[d，v])*β)，d∈D (13)

其中，D为目标距离单元，D中包含多个d，d表示手势与雷达之间的距离，v为角度值，V表示最大角度范围，H[d，v]为手势的二维空间位置，β为调节系数，c_d为手势质心与雷达之间的距离，c_v为手势质心与雷达之间连线的水平夹角的角度。以此类推，对每一帧手势都进行手势质心确定，便可得到一个完整手势的轨迹序列

L为手势的轨迹的帧数。

较佳的，手势质心确定可能存在偏差和毛刺等不稳定的点，因此需要对轨迹序列进行平滑处理，常见的平滑处理算法有移动平均、中值滤波、卡尔曼滤波和高斯滤波等，本申请选用一维高斯滤波器进行平滑处理。

S240、根据轨迹序列识别手势的起始点和终止点，并根据起始点和终止点从轨迹序列中提取出有效轨迹段。

S250、将有效轨迹段进行坐标转化得到手势的二维坐标点，并对二维坐标点进行位置搬移和重采样处理得到手势的坐标序列。

S260、将手势的坐标序列输入至预先训练的手势识别模型中，并根据手势识别模型的输出确定手势的识别结果。

本实施例提供的技术方案，通过接收手势的雷达回波信号，分别从快时间维、慢时间维和天线维对雷达回波信号进行采样处理得到三维雷达回波数据；根据三维雷达回波数据确定手势与电子设备之间的距离，并确定手势与电子设备之间连线的水平夹角的角度；根据距离和角度确定手势的轨迹序列；根据轨迹序列识别手势的起始点和终止点，并根据起始点和终止点从轨迹序列中提取出有效轨迹段；将有效轨迹段进行坐标转化得到手势的二维坐标点，并对二维坐标点进行位置搬移和重采样处理得到手势的坐标序列；将手势的坐标序列输入至预先训练的手势识别模型中，并根据手势识别模型的输出确定手势的识别结果。本申请通过对三维雷达回波数据进行处理得到手势的轨迹序列，进而通过双自适应门限梯度寻谷算法对手势的起始点和终止点进行判断并截取出有效轨迹段，可以在小样本网络下去除无效干扰；通过对截取后的有效轨迹段进行位置搬移、归一化和重采样，去除不同人书写数字时的位置、大小及快慢的差异，将数据限制在同一个范围内，增强同种类间相似性和不同种类间的可比性，提高手势识别模型的识别率；因此，本申请可以解决现有技术中无法在开放的时间和空间内检测手势的起始与结束，以及因不同人手势写法的不同以及手势大小、位置和速度等的差异所造成的手势识别准确率低，可提高手势识别的准确率，且计算复杂度低。

实施例三

图5为本申请实施例提供的一种手势识别装置的结构示意图，如图5所示，该装置500可以包括：

轨迹序列确定模块510，用于根据手势的三维雷达回波数据确定所述手势的轨迹序列。

有效轨迹段确定模块520，用于根据所述轨迹序列识别所述手势的起始点和终止点，并根据所述起始点和所述终止点从所述轨迹序列中提取出有效轨迹段。

坐标序列确定模块530，用于将所述有效轨迹段进行坐标转化得到所述手势的二维坐标点，并对所述二维坐标点进行位置搬移和重采样处理得到所述手势的坐标序列。

识别结果确定模块540，用于将所述手势的坐标序列输入至预先训练的手势识别模型中，并根据所述手势识别模型的输出确定所述手势的识别结果。

可选的，所述轨迹序列包括所述手势与所述电子设备之间的距离轨迹序列和角度轨迹序列。

进一步的，上述有效轨迹段确定模块520包括起始点终止点识别单元和有效轨迹段提取单元；

所述始点终止点识别单元，用于确定所述距离轨迹序列的一阶绝对差分和所述角度轨迹序列的一阶绝对差分，并确定所述距离轨迹序列的一阶绝对差分的第一所有峰谷值和所述角度轨迹序列的一阶绝对差分的第二所有峰谷值；根据预设高门限和预设低门限对所述第一所有峰谷值进行滤波得到第一有效峰谷值，将所述第一有效峰谷值中第一个峰值前的谷值作为起始点，将所述第一有效峰谷值中最后一个峰值后的谷值作为终止点，从而得到所述距离轨迹序列对应的第一起始点和第一终止点；根据预设高门限和预设低门限对所述第二所有峰谷值进行滤波得到第二有效峰谷值，将所述第二有效峰谷值中第一个峰值前的谷值作为起始点，将所述第二有效峰谷值中最后一个峰值后的谷值作为终止点，从而得到所述角度轨迹序列对应的第二起始点和第二终止点。

所述有效轨迹段提取单元，用于根据所述第一起始点和所述第一终止点从所述轨迹序列中提取出第一有效轨迹段；根据所述第二起始点和所述第二终止点从所述轨迹序列中提取出第二有效轨迹段；取所述第一有效轨迹段和所述第二有效轨迹段的并集得到所述手势的有效轨迹段。

进一步的，上述坐标序列确定模块530模块，可以具体用于：根据所述二维坐标点确定新坐标的原点位置和缩放比例；根据所述原点位置和所述缩放比例对所述二维坐标点进行位置搬移得到所述新坐标下的二维坐标点；确定所述新坐标下的二维坐标点中两点之间距离是否大于单位距离，若大于，则在所述两点之间进行插值得到所述手势的坐标序列。

进一步的，上述轨迹序列确定模块510，可以具体用于：根据所述三维雷达回波数据确定所述手势与所述电子设备之间的距离，并确定所述手势与所述电子设备之间连线的水平夹角的角度；根据所述距离和所述角度确定所述手势的轨迹序列。

进一步的，上述轨迹序列确定模块510，还可以具体用于：在所述快时间维上对所述三维雷达回波数据进行杂波抑制处理，得到杂波抑制之后的三维雷达回波数据；在所述天线维和所述慢时间维上对所述杂波抑制之后的三维雷达回波数据进行非相干积累，得到非相干积累之后的三维雷达回波数据；对所述非相干积累之后的三维雷达回波数据进行恒虚警检测得到所述手势与所述电子设备之间的距离；对所述杂波抑制之后的三维雷达回波数据进行角度估计得到所述手势与所述电子设备之间连线的水平夹角的角度。

进一步的，上述手势识别装置，还可以包括：三维雷达回波数据模块；

所述三维雷达回波数据模块，用于在根据手势的三维雷达回波数据确定所述手势的轨迹序列之前，接收所述手势的雷达回波信号，分别从快时间维、慢时间维和天线维对所述雷达回波信号进行采样处理得到三维雷达回波数据。

本实施例提供的手势识别装置可适用于上述任意实施例提供的手势识别方法，具备相应的功能和有益效果。

实施例四

图6是用来实现本申请实施例的一种手势识别方法的电子设备的框图，图6示出了适于用来实现本申请实施例实施方式的示例性电子设备的框图。图6显示的电子设备仅仅是一个示例，不应对本申请实施例的功能和适用范围带来任何限制。该电子设备典型可以是智能手机、平板电脑、笔记本电脑、车载终端以及可穿戴设备等。优选的，本申请实施例中的电子设备可以是具有多收多发功能的雷达，即多输入多输出(Multi-Input Multi-Output，MIMO)雷达。可选的，本申请可以选用德州仪器TI公司生产的1642多发多收雷达模块或其他多发多收雷达射频模块。

如图6所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：一个或者多个处理器或者处理单元616，存储器628，连接不同系统组件(包括存储器628和处理单元616)的总线618。

总线618表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

电子设备600典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备600访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

存储器628可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)630和/或高速缓存存储器632。电子设备600可以进一步包括其他可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统634可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其他光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线618相连。存储器628可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本申请各实施例的功能。

具有一组(至少一个)程序模块642的程序/实用工具640，可以存储在例如存储器628中，这样的程序模块642包括但不限于操作系统、一个或者多个应用程序、其他程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块642通常执行本申请实施例所描述的功能和/或方法。

电子设备600也可以与一个或多个外部设备614(例如键盘、指向设备、显示器624等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其他计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口622进行。并且，电子设备600还可以通过网络适配器620与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图6所示，网络适配器620通过总线618与电子设备600的其他模块通信。应当明白，尽管图6中未示出，可以结合电子设备600使用其他硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元616通过运行存储在存储器628中的程序，从而执行各种功能应用以及数据处理，例如实现本申请任一实施例所提供的手势识别方法。

实施例五

本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序(或称为计算机可执行指令)，该程序被处理器执行时可以用于执行本申请上述任一实施例所提供的手势识别方法。

本申请实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦拭可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本申请实施例操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

Claims (8)

1.一种手势识别方法，其特征在于，所述方法应用于电子设备，所述方法包括：

根据手势的三维雷达回波数据确定所述手势的轨迹序列；

根据所述轨迹序列识别所述手势的起始点和终止点，并根据所述起始点和所述终止点从所述轨迹序列中提取出有效轨迹段；

将所述有效轨迹段进行坐标转化得到所述手势的二维坐标点，并对所述二维坐标点进行位置搬移和重采样处理得到所述手势的坐标序列；

将所述手势的坐标序列输入至预先训练的手势识别模型中，并根据所述手势识别模型的输出确定所述手势的识别结果；

其中，所述轨迹序列包括所述手势与所述电子设备之间的距离轨迹序列和角度轨迹序列，所述根据所述轨迹序列识别所述手势的起始点和终止点，包括：

确定所述距离轨迹序列的一阶绝对差分和所述角度轨迹序列的一阶绝对差分，并确定所述距离轨迹序列的一阶绝对差分的第一所有峰谷值和所述角度轨迹序列的一阶绝对差分的第二所有峰谷值；

根据预设高门限和预设低门限对所述第一所有峰谷值进行滤波得到第一有效峰谷值，将所述第一有效峰谷值中第一个峰值前的谷值作为起始点，将所述第一有效峰谷值中最后一个峰值后的谷值作为终止点，从而得到所述距离轨迹序列对应的第一起始点和第一终止点；

根据预设高门限和预设低门限对所述第二所有峰谷值进行滤波得到第二有效峰谷值，将所述第二有效峰谷值中第一个峰值前的谷值作为起始点，将所述第二有效峰谷值中最后一个峰值后的谷值作为终止点，从而得到所述角度轨迹序列对应的第二起始点和第二终止点；

其中，所述对所述二维坐标点进行位置搬移和重采样处理得到所述手势的坐标序列，包括：

根据所述二维坐标点确定新坐标的原点位置和缩放比例；

根据所述原点位置和所述缩放比例对所述二维坐标点进行位置搬移得到所述新坐标下的二维坐标点；

确定所述新坐标下的二维坐标点中两点之间距离是否大于单位距离，若大于，则在所述两点之间进行插值得到所述手势的坐标序列。

2.根据权利要求1所述的手势识别方法，其特征在于，所述根据所述起始点和所述终止点从所述轨迹序列中提取出有效轨迹段，包括：

根据所述第一起始点和所述第一终止点从所述轨迹序列中提取出第一有效轨迹段；

根据所述第二起始点和所述第二终止点从所述轨迹序列中提取出第二有效轨迹段；

取所述第一有效轨迹段和所述第二有效轨迹段的并集得到所述手势的有效轨迹段。

3.根据权利要求1所述的手势识别方法，其特征在于，所述根据手势的三维雷达回波数据确定所述手势的轨迹序列，包括：

根据所述三维雷达回波数据确定所述手势与所述电子设备之间的距离，并确定所述手势与所述电子设备之间连线的水平夹角的角度；

根据所述距离和所述角度确定所述手势的轨迹序列。

4.根据权利要求3所述的手势识别方法，其特征在于，所述三维雷达回波数据为快时间维、慢时间维和天线维的三维雷达回波数据；所述根据所述三维雷达回波数据确定所述手势与所述电子设备之间的距离，并确定所述手势与所述电子设备之间连线的水平夹角的角度，包括：

在所述快时间维上对所述三维雷达回波数据进行杂波抑制处理，得到杂波抑制之后的三维雷达回波数据；

在所述天线维和所述慢时间维上对所述杂波抑制之后的三维雷达回波数据进行非相干积累，得到非相干积累之后的三维雷达回波数据；

对所述非相干积累之后的三维雷达回波数据进行恒虚警检测得到所述手势与所述电子设备之间的距离；

对所述杂波抑制之后的三维雷达回波数据进行角度估计得到所述手势与所述电子设备之间连线的水平夹角的角度。

5.根据权利要求1所述的手势识别方法，其特征在于，在根据手势的三维雷达回波数据确定所述手势的轨迹序列之前，所述方法包括：

接收所述手势的雷达回波信号，分别从快时间维、慢时间维和天线维对所述雷达回波信号进行采样处理得到三维雷达回波数据。

6.一种手势识别装置，其特征在于，所述装置应用于电子设备，所述装置包括：

轨迹序列确定模块，用于根据手势的三维雷达回波数据确定所述手势的轨迹序列；

有效轨迹段确定模块，用于根据所述轨迹序列识别所述手势的起始点和终止点，并根据所述起始点和所述终止点从所述轨迹序列中提取出有效轨迹段；

坐标序列确定模块，用于将所述有效轨迹段进行坐标转化得到所述手势的二维坐标点，并对所述二维坐标点进行位置搬移和重采样处理得到所述手势的坐标序列；

识别结果确定模块，用于将所述手势的坐标序列输入至预先训练的手势识别模型中，并根据所述手势识别模型的输出确定所述手势的识别结果；

其中，所述轨迹序列包括所述手势与所述电子设备之间的距离轨迹序列和角度轨迹序列，所述有效轨迹段确定模块包括起始点终止点识别单元，所述始点终止点识别单元，用于确定所述距离轨迹序列的一阶绝对差分和所述角度轨迹序列的一阶绝对差分，并确定所述距离轨迹序列的一阶绝对差分的第一所有峰谷值和所述角度轨迹序列的一阶绝对差分的第二所有峰谷值；根据预设高门限和预设低门限对所述第一所有峰谷值进行滤波得到第一有效峰谷值，将所述第一有效峰谷值中第一个峰值前的谷值作为起始点，将所述第一有效峰谷值中最后一个峰值后的谷值作为终止点，从而得到所述距离轨迹序列对应的第一起始点和第一终止点；根据预设高门限和预设低门限对所述第二所有峰谷值进行滤波得到第二有效峰谷值，将所述第二有效峰谷值中第一个峰值前的谷值作为起始点，将所述第二有效峰谷值中最后一个峰值后的谷值作为终止点，从而得到所述角度轨迹序列对应的第二起始点和第二终止点；

所述坐标序列确定模块，具体用于根据所述二维坐标点确定新坐标的原点位置和缩放比例；根据所述原点位置和所述缩放比例对所述二维坐标点进行位置搬移得到所述新坐标下的二维坐标点；确定所述新坐标下的二维坐标点中两点之间距离是否大于单位距离，若大于，则在所述两点之间进行插值得到所述手势的坐标序列。

7.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至5中任一所述的手势识别方法。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至5中任一所述的手势识别方法。

Images