CN107330462B - 基于时频分析的手势识别方法及其装置 - Google Patents

Abstract

本发明公开一种基于时频分析的手势识别方法及其装置。该基于时频分析的手势识别装置包括：高频声波发射器、高频声波接收器、模拟信号处理单元和微处理器信号处理单元。高频声波发射器用以发射超过人耳听觉范围的高频声波，高频声波接收器用以接收来自环境的反射声波信号，模拟信号处理单元用以对信号进行滤波与放大，微处理器信号处理单元对接收到的反射声波，进行带通滤波及带通采样处理，并通过快速傅里叶变换得到时域与频域的关系，最后进行时频分析的手势识别。本发明具有灵敏度高、独立性强、硬件复杂度低及成本低的优点，可对不同手势进行辨别，在人机交互领域有广泛的应用前景。

Description

基于时频分析的手势识别方法及其装置

技术领域

本发明属于人机交互技术领域，涉及一种基于时频分析的手势识别方法及其装置。

背景技术

随着物联网时代的不断发展，智能交互电子产品拥有广阔的市场，交互方式也逐渐往非接触式人机交互方向发展，但是单一的摄像头视觉交互识别效率低、成本高且抗干扰性不强，于是现在出现了新的声波交互识别，在很大程度上弥补了现有产品的不足。

当声波的发射波源与接收之间存在相对运动时，声波的波长将产生变化。当运动为相互靠近时声波被压缩，波长变短；反之运动为相互远离时波长将变长，频率将变低。且声波的变化幅度与相对运动速度大小成正比。这种现象称为多普勒效应，声波接收与发射频率之差称为多普勒频移。这种多普勒效在无损检测、医学诊断、海洋开发、军事探测等方面都有重要应用，并体现出高准确度与低硬件复杂度、高独立性等优势。

因此，可将频域多普勒效应应用于人机交互领域，来改进和发展现有技术。

发明内容

本发明目的在于充分利用频域的多普勒效应来克服现有技术缺陷，提供一种基于时频分析的手势识别方法及其装置。

本发明的原理是：首先在声波发射器上叠加中心频率为21KHz的2KHz带通信号，通过麦克风获取反射声波，根据声波频域的变化来判断出不同的手势动作。

本发明采用的技术方案如下：提供一种基于时频分析的手势识别方法。

第一步：采用高频声波发射器将叠加有人耳听觉范围外的声波信号进行功率放大，并发射出来；该声波信号必须包含21KHz以上的单频信号，且以此单频信号为中心的2KHz带宽内不存在其他信号；第二步：采用高频声波接收器接收包含手势信息的反射声波信号；第三步：采用模拟信号处理电路将高频声波接收器接收到的反射声波信号先进行高通滤波处理，再进行两级放大，最后传送至微处理器信号处理单元；第四步：采用微处理器信号处理单元内部的数模转换器产生并发射所需的高频信号；同时用微处理器信号处理单元内部的模数转换器先以远高于高频声波频率的150KHz采样速率采集模拟信号处理电路输出的声波信号并进行处理；第五步，采用微处理器信号处理单元内部的处理程序先对模数转换器采集到的数据做64阶FIR带通滤波处理，再做16倍的降采样用以减少数据样点及实现实时处理，然后对降采样得到的数据进行快速傅里叶变换得到该声波信号的频谱分布信息，再经过频域预处理模块对频谱分布信息进行归一化及阈值噪声滤除处理，得到一帧高频声波信号的处理结果，通过实时处理得到连续的多帧处理结果，将这多帧处理结果传送至手势信息的分析模块；第六步，采用微处理器信号处理单元内部的分析程序对声波信号的多帧处理结果通过方差与过零点数量的阈值检测判断手势动作的始末端点，然后比较包含手势信息的中间帧以载波为中心的左右频谱分布得到每一帧的特征向量，最后通过模板的规则匹配确定对应手势。

优选的，所述第三步中的模拟信号处理电路高通滤波的截止频率为20KHz，即为以21KHz单频信号为中心的2KHz带宽的最小值，用以滤除非手势信息。

优选的，所述第四步中的微处理器信号处理单元中带通采样模块采用64阶FIR带通滤波算法，滤出以21KHz为中心的2KHz带通信号；然后根据带通采样定理，对采集到的数据进行16倍的降采样，将此带通信号进行频谱搬移至低频，降低数据处理量以实现实时处理；微处理器信号处理单元的时频转换模块对信号进行快速傅里叶变换得到时间与频谱的相对关系；微处理器信号处理单元的频域预处理模块对取出其中包含手势信息的2KHz带通信号的频谱数据进行归一化处理，再减去预设噪声数组，最后将数据存储到程序数组里等待手势信息识别模块处理。

优选的，所述手势信息识别模块处理包含：首先，阈值检测，通过比较处理完数据的方差及过零点数量，得到手势轨迹序列的起始时间点与终结点；然后通过比较频谱中心频率左右部分的方差与过零点，提取特征值，进而分类匹配识别出手势，其中包含推、拉、单击、双击、交叉切换的基本手势；最后根据频谱变化峰值的位置可得到手势运动的相对速度，将手势动作包含快、中、慢三等，最终得到15种组合动作。

本发明另外提供一种基于时频分析的手势识别装置，包括以下设备：

高频声波发射器，用于将叠加有人耳听觉范围外的声波信号先进行功率放大后发射出来；该声波信号必须包含21KHz以上的单频信号，且以此单频信号为中心的2KHz带宽内不存在其他信号；高频声波接收器，用于接收包含手势信息的反射声波信号；模拟信号处理电路，用于将高频声波接收器接收到的反射声波信号先进行高通滤波处理,再进行两级射极放大，最后输送给微处理器信号处理单元；微处理器信号处理单元，用于通过程序算法得到该信号的时间、频谱分布信息，再根据该时间频谱分布来确定对应的手势；所述微处理器信号处理单内置用于产生发射所需的高频信号的数模转换器以及用于接收模拟信号处理电路输出信号并进行处理的模数转换器；微处理器信号处理单元内部的处理程序先对模数转换器采集到的数据做64阶FIR带通滤波处理，再做16倍的降采样用以减少数据样点及实现实时处理，然后对降采样得到的数据进行快速傅里叶变换得到该声波信号的频谱分布信息，再经过频域预处理模块对频谱分布信息进行归一化及阈值噪声滤除处理，得到一帧高频声波信号的处理结果，通过实时处理得到连续的多帧处理结果，将这多帧处理结果传送至手势信息的分析模块；微处理器信号处理单元内部的分析程序对声波信号的多帧处理结果通过方差与过零点数量的阈值检测判断手势动作的始末端点，然后比较包含手势信息的中间帧以载波为中心的左右频谱分布得到每一帧的特征向量，最后通过模板的规则匹配确定对应手势。

优选的，所述模拟信号处理电路高通滤波的截止频率为20KHz，即为以21KHz单频信号为中心的2KHz带宽的最小值，用以滤除非手势信息。

优选的，所述微处理器信号处理单元进一步包括：带通采样模块，用于采用64阶FIR带通滤波算法，取出以21KHz为中心的2KHz带通信号，根据带通采样定理，将此带通信号进行频谱搬移，降低数据处理量；时频转换模块，用于对信号进行快速傅里叶变换得到时间与频谱的相对关系；频域预处理模块，用于对取出其中有用的2KHz带通信号频谱数据进行归一化，再减去预设噪声数组，最后将数据存储到程序数组里等待手势信息识别模块处理。

优选的，所述手势信息识别模块的处理过程如下：首先，阈值检测，通过比较处理完数据的方差及过零点数量，得到手势轨迹序列的起始时间点与终结点；然后通过比较频谱中心频率左右部分的方差与过零点，提取特征值，进而分类匹配识别出手势，其中包含推、拉、单击、双击、交叉切换的基本手势；最后根据频谱变化峰值的位置可得到手势运动的相近速度，将手势动作包含快、中、慢三等，最终得到15种组合动作。

本发明具有的有益效果是：

(1)首次提出利用时频分析来识别手势。

(2)具有实现方法简单有效，具备低硬件复杂度与高探测灵敏度优势。

(3)可以准确识别基本的手势动作。

(4)本发明可以使声波手势识别技术脱离手机、平板、电脑等终端，直接应用于智能家居，将会有广泛的应用；当然，本发明也可以充分结合手机、平板、电脑等终端赋予其非接触式的手势交互功能。

附图说明

图1是本发明基于时频分析的手势识别方法流程图。

图2是本发明基于时频分析的手势识别装置硬件框图。

图3是本发明基于时频分析的手势识别方法框图。

图4是本发明使用带通采样的MATLAB仿真效果示意图，分为a、b、c三部分，用以对比不同处理效果。

图5是每帧手势远离运动所得频谱图，远离时声波频率降低。

图6是每帧手势靠近运动所得频谱图，靠近时声波频率增高。

图7是时间频谱图，图中只表示频谱的相对关系，横轴为时间，纵轴为频率，颜色代表频率幅值；微处理器根据图中关系将信息分类识别出手势。

具体实施方式

本发明提供了一种基于频域多普勒的手势识别方法及其装置，下面结合附图和具体实施方式对本发明的技术方案进一步明确说明。需要注意的是以下说明的具体实施仅仅用以解释本发明，而并不是用于限定本发明。

图1及图2是本发明所述频域多普勒手势识别方法与装置的硬件框图及流程图，如图1和图2所示，其中包括：

高频声波发射器，本实施例采用普通音频驱动模块，用以将多媒体输入微弱音频信号进行功率放大后驱动扬声器播放音频，此处音频信号一般在20Hz到20KHz之间。

数模转换器，本实施例采用微处理器信号处理单元内部数模转换器输出21KHz阶梯型信号，然后通过二阶RC低通滤波电路变成标准正弦波。

模拟信号处理电路，本实施例采用模拟信号加法器，将普通音频信号与21KHz单频信号叠加后输出。

扬声器作为声波发射源，用以发出正常音频信号，此信号一般低于20KHz；同时，在这音频信号上叠加有21KHz信号作为基准高频声波信号，用以产生频域多普勒效应，将手势运动信息调制到发射声波的频率中。

高频声波接收器，本实施例采用麦克风信号处理单元，用以接收发射回来的声波信号，并对信号先进行高通滤波处理，再通过两级射极放大电路将信号放大，输送至微处理器内部的模数转换器。

微处理器信号处理单元，本实施例通过微处理器的内部模数转换器得到包含手势信息的数据，然后通过程序算法对数据进行处理后分类识别出手势。

图3是本发明所述时频分析手势识别方法与装置的软件算法框图，如图3所示，其中包括：

模数转换模块，由于手势信息隐含于21KHz左右的音频信号中，根据奈奎斯特–香农采样定理知采样频率应高于原信号的两倍，但为使信号失真度尽可能降低，保证手势信息的完整性，本实施例采用远高于原信号两倍频率的150KHz采样频率；采样队列大小为1024个采样点；为保证信号采样的连续性，完成数据的无缝缓冲与处理，采用乒乓采样的流水式算法，即利用两块内存单元分时存储ADC采集到的数据，第一块内存单元在数据处理的同时第二块内存单元则在采集数据，采集数据完成后则调换功能，即第一块内存单元在采集数据而第二块内存单元在对数据进行处理。

带通采样模块，如图4所示，由于在150KHz采样频率下对数据进行1024点的快速傅里叶变换得出频谱分辨率由公式：

SampleFre/N＝150KHz/1024＝146.48Hz

但是空气中对于声波频率为21KHz、手势运动速度为1m/s,由多普勒效应可知多普勒频移为

从数据的对比及图4中a部分可得知，若是在150KHz采样频率对数据做1024点快速傅里叶变换，手势运动信息将很难再在数据中体现出来，使得手势很难被识别出来；为了解决频率分辨率低的缺点，可采用将信号下变频至中频，但是这种方法使数据运算量增大，无法保证信号处理实时性，因此本发明独创性地采用带通采样方法；考虑到带通采样将使信号频谱进行搬移导致频谱混叠，从而使背景噪声增加，如图4中b部分所示，减少信噪比为DSNR＝10log10(m+1)dB,因此本发明先对原信号进行64阶FIR带通滤波，如图4中c部分所示，背景噪声将被大幅度降低，然后再进行带通采样，将原始150KHz采样频率下变至9.375KHz，使频谱被整体搬移，原始21KHz中心频率因此被搬移至2.25KHz。

时频转换模块，本实施例采用将带通采样得到的数据进行1024点快速傅里叶变换，此时频率分辨率为9.16Hz。

频域预处理模块，因为离散傅里叶变换将产生频谱泄露，且环境中存在不确定的声波信号，容易引起噪声干扰，降低识别效果，因此为提高识别准确率，本实施例将快速傅里叶变换得到的数据进行归一化后减去预设噪声阈数组，得到纯净的频谱；本实施例中预设噪声阈值数组，是取连续十帧无手势信息声波信号做与本系统相同处理后的频谱信息最大值。

手势信息识别模块，首先是阈值检测，通过比较每一帧频谱数据的方差及过零点数量，前一帧数据方差与过零点数量皆小于阈值而这一帧数据方差与过零点数量皆大于阈值时认定当前帧为手势动作的起始点，前一帧数据方差与过零点数量皆大于阈值而这一帧数据方差与过零点数量皆小于阈值时认定当前帧为手势动作的终结点，如此即可得到手势轨迹序列的起始点与终结点；然后比较每一帧载波中心频率左右相同距离部分的方差与过零点，提取特征值，如图5与图6所示，手势变化使每帧数据都产生明显变化，本实施例比较载波中心频率的左右各25个频点，当频谱中心频率左部分过零点数量大于2且左部分方差大于右部分方差的5倍时置该帧特征值为1，当频谱中心频率右部分过零点数量大于2且右部分方差大于左部分方差的5倍时置该帧特征值为2，当频谱中心频率左部分与右部分过零点数量都大于2且两部分方差之商大于0.2且小于5时置该帧特征值为3，其它情况置该帧特征值为0；对包含手势信息的每帧声波信号都做处理即可提取整个动作的特征值序列；进而通过规则匹配识别出手势，如图7所示，其中包含推、拉、单击、双击、交叉切换的基本手势，考虑到系统的鲁棒性问题，当特征值序列中1的数量大于序列长度的90％时判别该手势为拉，当特征值序列中2的数量大于序列长度的90％时判别该手势为推，当特征值序列中2的数量大于序列长度的90％时判别该手势为推，当特征值序列中3的数量大于序列长度的75％时判别该手势为交叉切换，当特征值序列中1和2的数量均大于序列长度的30％且基本样式为22221111时判别该手势为单击，当特征值序列中1和2的数量均大于序列长度的30％且基本样式为22112211时判别该手势为双击；最后计算每一帧载波中心频率左右部分的峰值位置形成峰值序列，可得到手势运动的相对速度，将手势动作包含快、中、慢三等，当峰值序列的平均值大于18时判别该动作为快速操作，当峰值序列的平均值小于18且大于10时判别该动作为中速操作，峰值序列的平均值小于10时判别该动作为慢速操作，最终得到15种组合动作。

应当清楚的是，本发明的保护范围不限于上述实施方式。任何熟悉本领域的技术人员，对本发明的简单变化或等效替换均落入本发明的保护范围内；但在不脱离本发明的精神和范围内，当可做些许更动与润饰，因此本发明的保护范围应当以权利要求书所界定的保护范围为准。

Claims (8)

1.一种基于时频分析的手势识别方法,包括以下步骤：

第一步：采用高频声波发射器将叠加有人耳听觉范围外的声波信号进行功率放大，并发射出来；该声波信号必须包含21KHz以上的单频信号，且以此单频信号为中心的2KHz带宽内不存在其他信号；

第二步：采用高频声波接收器接收包含手势信息的反射声波信号；

第三步：采用模拟信号处理电路将高频声波接收器接收到的反射声波信号先进行高通滤波处理，再进行两级放大，最后传送至微处理器信号处理单元；

第四步：采用微处理器信号处理单元内部的数模转换器产生并发射所需的高频信号；同时用微处理器信号处理单元内部的模数转换器先以远高于高频声波频率的150KHz采样速率采集模拟信号处理电路输出的声波信号并进行处理；

第五步，采用微处理器信号处理单元内部的处理程序先对模数转换器采集到的数据做64阶FIR带通滤波处理，再做16倍的降采样用以减少数据样点及实现实时处理，然后对降采样得到的数据进行快速傅里叶变换得到该声波信号的频谱分布信息，再经过频域预处理模块对频谱分布信息进行归一化及阈值噪声滤除处理，得到一帧高频声波信号的处理结果，通过实时处理得到连续的多帧处理结果，将这多帧处理结果传送至手势信息的分析模块；

第六步，采用微处理器信号处理单元内部的分析程序对声波信号的多帧处理结果通过方差与过零点数量的阈值检测判断手势动作的始末端点，然后比较包含手势信息的中间帧以载波为中心的左右频谱分布得到每一帧的特征向量，最后通过模板的规则匹配确定对应手势。

2.根据权利要求1所述的基于时频分析的手势识别方法，其特征在于：所述第三步中的模拟信号处理电路高通滤波的截止频率为20KHz，即为以21KHz单频信号为中心的2KHz带宽的最小值，用以滤除非手势信息。

3.根据权利要求1所述的基于时频分析的手势识别方法，其特征在于：所述第四步中的微处理器信号处理单元中带通采样模块采用64阶FIR带通滤波算法，滤出以21KHz为中心的2KHz带通信号；然后根据带通采样定理，对采集到的数据进行16倍的降采样，将此带通信号进行频谱搬移至低频，降低数据处理量以实现实时处理；

微处理器信号处理单元的时频转换模块对信号进行快速傅里叶变换得到时间与频谱的相对关系；

微处理器信号处理单元的频域预处理模块对取出其中包含手势信息的2KHz带通信号的频谱数据进行归一化处理，再减去预设噪声数组，最后将数据存储到程序数组里等待手势信息识别模块处理。

4.根据权利要求3所述的基于时频分析的手势识别方法，其特征在于：所述手势信息识别模块处理包含：首先，阈值检测，通过比较处理完数据的方差及过零点数量，得到手势轨迹序列的起始时间点与终结点；然后通过比较频谱中心频率左右部分的方差与过零点，提取特征值，进而分类匹配识别出手势，其中包含推、拉、单击、双击、交叉切换的基本手势；最后根据频谱变化峰值的位置可得到手势运动的相对速度，将手势动作包含快、中、慢三等，最终得到15种组合动作。

5.一种基于时频分析的手势识别装置,其特征在于，包括以下设备：

高频声波发射器，用于将叠加有人耳听觉范围外的声波信号先进行功率放大后发射出来；该声波信号必须包含21KHz以上的单频信号，且以此单频信号为中心的2KHz带宽内不存在其他信号；

高频声波接收器，用于接收包含手势信息的反射声波信号；

模拟信号处理电路，用于将高频声波接收器接收到的反射声波信号先进行高通滤波处理,再进行两级射极放大，最后输送给微处理器信号处理单元；

微处理器信号处理单元，用于通过程序算法得到该信号的时间、频谱分布信息，再根据该时间频谱分布来确定对应的手势；所述微处理器信号处理单内置用于产生发射所需的高频信号的数模转换器以及用于接收模拟信号处理电路输出信号并进行处理的模数转换器；

微处理器信号处理单元内部的处理程序先对模数转换器采集到的数据做64阶FIR带通滤波处理，再做16倍的降采样用以减少数据样点及实现实时处理，然后对降采样得到的数据进行快速傅里叶变换得到该声波信号的频谱分布信息，再经过频域预处理模块对频谱分布信息进行归一化及阈值噪声滤除处理，得到一帧高频声波信号的处理结果，通过实时处理得到连续的多帧处理结果，将这多帧处理结果传送至手势信息的分析模块；

微处理器信号处理单元内部的分析程序对声波信号的多帧处理结果通过方差与过零点数量的阈值检测判断手势动作的始末端点，然后比较包含手势信息的中间帧以载波为中心的左右频谱分布得到每一帧的特征向量，最后通过模板的规则匹配确定对应手势。

6.根据权利要求5所述的基于时频分析的手势识别装置，其特征在于：所述模拟信号处理电路高通滤波的截止频率为20KHz，即为以21KHz单频信号为中心的2KHz带宽的最小值，用以滤除非手势信息。

7.根据权利要求5所述的基于时频分析的手势识别装置，其特征在于：所述微处理器信号处理单元进一步包括：带通采样模块，用于采用64阶FIR带通滤波算法，取出以21KHz为中心的2KHz带通信号，根据带通采样定理，将此带通信号进行频谱搬移，降低数据处理量；

时频转换模块，用于对信号进行快速傅里叶变换得到时间与频谱的相对关系；

频域预处理模块，用于对取出其中有用的2KHz带通信号频谱数据进行归一化，再减去预设噪声数组，最后将数据存储到程序数组里等待手势信息识别模块处理。

8.根据权利要求7所述的基于时频分析的手势识别装置，其特征在于：所述手势信息识别模块的处理过程如下：首先，阈值检测，通过比较处理完数据的方差及过零点数量，得到手势轨迹序列的起始时间点与终结点；然后通过比较频谱中心频率左右部分的方差与过零点，提取特征值，进而分类匹配识别出手势，其中包含推、拉、单击、双击、交叉切换的基本手势；最后根据频谱变化峰值的位置可得到手势运动的相近速度，将手势动作包含快、中、慢三等，最终得到15种组合动作。

Images