CN106295684B - 一种基于微多普勒特征的动态连续/非连续手势识别方法 - Google Patents

Abstract

本发明提出的一种基于微多普勒特征的动态连续/非连续手势识别方法，属于雷达技术领域和人机交互领域。该方法首先通过雷达采集动态连续/非连续手势数据，即时域雷达信号；随后对时域雷达信号进行时频分析得到回波信号的多普勒频率随时间变化图像，即每组数据的时频图；通过对每组数据的时频分析结果进行噪声滤除和特征提取，得到手势动作的相关特征；最后由支持向量机实现对手势动作的识别分类。本发明通过引入雷达多普勒效应，降低了环境、光照等因素对手势识别的影响，提高了动态手势的识别能力。

Description

一种基于微多普勒特征的动态连续/非连续手势识别方法

技术领域

本发明属于雷达技术领域和人机交互领域，，具体涉及一种基于微多普勒特征的动态连续/非连续手势识别方法。

背景技术

人机交互，即人与计算机实现“对话”的有效方法。随着计算机应用范围的拓展，人机交互技术也从鼠标键盘等工具向人类更熟知的语音、手势等方向发展。作为人与人交流的重要手段，手势识别技术得到越来越多的关注。目前比较成熟的手势识别技术均选用视频获取图像的方法进行信息采集，进而获取信号特征来实现各种手势的识别。然而，基于视频的手势识别技术在光照条件不好的情况下难以保证良好性能。

雷达多普勒效应在目标运动参数估计方面具有优异表现，使其在军用、民用方面获得广阔的应用前景。目标在运动过程中经常会伴随着微运动，如人体走动或跑动时四肢的运动，直升机飞行时旋翼的转动等，这些微运动在雷达回波中反应为多普勒频移上引起的额外的频率调制，这种微动对雷达回波的调制被称为微多普勒效应。微多普勒效应自2004年提出以来，在人体运动、旋翼等目标微运动研究方面取得显著成绩。

微多普勒效应是对随时间变化信号的频率估计。为了分析时变频率特性，傅里叶变换已不再适用，因为它不能提供与时间有关的频率信息。短时傅里叶变换(STFT，short-time Fourier transform)作为时频分析的常用工具，其主要思想是给信号加窗，将加窗后的信号再进行傅里叶变换，加窗后使得变换为时间t附近的很小时间上的局部谱，窗函数可以根据t的位置变化在整个时间轴上平移，从而利用窗函数可以得到任意位置附近的时间段频谱实现时间局域化。STFT在微多普勒信号分析中得到广泛应用。

支持向量机(Support Vector Machine，SVM)是20世纪90年代根据统计学习理论提出的一种机器学习方法，利用有限的样本所提供的信息对模型复杂化和学习能力两者进行寻求最佳的折衷。其主要思想为把训练样本非线性的映射到一个更高维度的特征空间中，在这个高维的特征空间中寻找到一个超平面使得正例和反例两者间的隔离边缘被最大化。支持向量机因其在小样本、非线性、数据高维等机器学习问题中的突出性能，被广泛应用在模式识别、数据挖掘等领域。

发明内容

本发明针对当前手势识别方法多采用视频识别的方法，环境、光照等因素对识别效果影响较高，同时存在对动态手势识别能力较差的问题，提出了基于微多普勒特征的动态连续/非连续手势识别方法。本方法通过引入雷达多普勒效应，降低了环境、光照等因素的影响，同时提高了对动态手势的识别能力。

一种基于微多普勒特征的动态连续/非连续手势识别方法，其特征在于，该方法首先通过雷达采集动态连续/非连续手势数据，即时域雷达信号；随后对时域雷达信号进行时频分析得到回波信号的多普勒频率随时间变化图像，即每组数据的时频图；通过对每组数据的时频分析结果进行噪声滤除和特征提取，得到手势动作的相关特征；最后由支持向量机实现对手势动作的识别分类。该方法具体包括以下步骤：

1)利用雷达采集多组动态连续/非连续手势数据，每组数据采集时间相同，且每组数据包含多个周期的重复手势动作；

2)对步骤1)采集得到的每组数据进行时频分析；步骤1)得到的每组数据均为时域雷达信号，将时域雷达信号采用短时傅立叶变换STFT进行时频分析，得到回波信号的多普勒频率随时间变化图像，即每组数据的时频图；

STFT计算如式(1)所示：

式中，X(m,ω)是短时傅里叶变换后所得时频信号，x[n]是时间信号，w[n]是窗函数，n是对应时间信号的时间，m是窗函数的滑动位置，ω是角频率,j为虚数单位；STFT的结果是一个时间与频率二维平面上的分布，即时频分布，取STFT的结果的模的平方，表示输入信号x[n]在时间与频率平面上的功率；

3)对由式(1)得到的每组数据的时频分析结果，先进行滤除噪声操作，而后在一定时间窗范围内提取信号特征；

3-1)噪声滤除；对每组时频分析后的数据观察其功率大小分布情况，通过设置功率阈值来直接滤除噪声影响；

3-2)对每组时频分析后数据的时频图中特征进行采集；在一定时间窗范围内提取信号特征，依据时频分析后数据的微多普勒信息，选取观察时频图所获得区分动态连续/非连续手势最明显的信息作为特征进行提取；

4)将步骤3)得到的两类手势的信号特征随机分为训练样本和测试样本两组，通过训练样本对支持向量机分类器进行训练；经过训练的支持向量机分类器对测试样本进行分类，输出分类结果。

本发明的特点及有益效果有：

1使用雷达采集动态手势数据，从而极大降降低人机交互系统对环境、光照的敏感性，提高了信号的信噪比；

2采用微多普勒效应对动态手势信号进行处理，能够从时频域获得动态连续/非连续信号的识别特征；

3采用支持向量机的方法来完成分类，提高了分类成功率。

本发明利用雷达实现对手势动作的微多普勒特征提取，实验证明该方法可以有效获取手势动作的微多普勒特征信息，准确实现对动态连续/非连续手势的分类。

附图说明

图1为本发明的基于微多普勒特征的动态连续/非连续手势识别方法的流程框图。

图2为本发明实施例中试验场景设置图。

图3为本实施例中采用弹手指手势的特征时频图。

图4为本实施例中采用转手掌手势的特征时频图。

具体实施方式

本发明提出的一种基于微多普勒特征的动态连续/非连续手势识别方法，下面结合附图和具体实施例进一步说明如下。

本发明提出的一种基于微多普勒特征的动态连续/非连续手势识别方法，流程框图如图1所示，该方法首先通过雷达采集动态连续手势/非连续手势数据，即时域雷达信号；随后对时域雷达信号进行时频分析得到回波信号的多普勒频率随时间变化图像，即每组数据的时频图；通过对每组数据的时频分析结果进行噪声滤除和特征提取，得到手势动作的相关特征；最后由支持向量机实现对手势动作的识别分类。本方法具体包括以下步骤：

1)利用雷达采集多组动态连续/非连续手势数据，每组数据采集时间相同，且每组数据包含多个周期的重复手势动作；本实施例中，设置手势识别实验场景，如图2所示，实验时，雷达天线与测试者手掌之间距离在30厘米左右；测试者在完成手势动作过程中应保持手掌活动在雷达天线测试范围内，且尽量在天线径向距离上移动。实验所使用雷达为调频连续波雷达。调频连续波雷达由于不存在距离盲点、精度高、带宽大、功率低、简单小巧，非常适合应用在手势识别微多普勒信息采集中；但由于功率较小，其作用距离较短。本发明所述雷达不限于使用调频连续波雷达，对易于得到目标微多普勒信息的连续波雷达、调频连续波雷达等类型雷达均适用。

本实施例在试验中分别完成对动态连续手势转手掌和动态非连续手势弹手指两种动作各50组数据的采集，每组数据采集时间设置为4秒钟(采集时间可依据动作不同进行设置)，每组数据包含多个周期的重复手势动作。

2)对步骤1)采集得到的每组数据进行时频分析；步骤1)得到的每组数据均为时域雷达信号，将时域雷达信号采用短时傅立叶变换(STFT)进行时频分析得到回波信号的多普勒频率随时间变化图像，即每组数据的时频图；STFT计算如式(1)所示：

式中，X(m,ω)是短时傅里叶变换后所得时频信号，x[n]是时间信号，w[n]是窗函数，n是对应时间信号的时间，m是窗函数的滑动位置，ω是角频率,j为虚数单位；STFT的结果是一个时间与频率二维平面上的分布，即时频分布，取STFT的结果的模的平方，表示输入信号x[n]在时间与频率平面上的功率。

图3和图4即为本实施例动态非连续手势与连续手势时间采集信号x[n]经STFT变换后所得时频图，其中横轴代表时间(即公式中m值)，纵轴代表与时间对应的频率信息(X(m,ω)中对应m的ω值)。由图可见，频率随时间变化的规律得到清晰展示。

动态非连续手势弹手指动作的微多普勒信息，如图3所示，图中，f_p代表弹手指动作的径向运动所引起的正向微多普勒频率，因动作速度快，因此f_p较大；f_n代表手指弹出后收回过程中所引起的负向微多普勒频率，因动作速度较缓慢，因此f_n较小；T代表一个弹手指动作的完整周期；t₁、t₂分别代表弹手指动作中弹和收两个动作分别占用整个周期中的时间。

动态连续手势转手掌动作的微多普勒信息，如图4所示；图中，f_p代表转手掌动作向雷达方向运动最大频率；f_n代表转手掌动作背向雷达方向运动最大频率；T代表一个转手掌动作的完整周期。在后续处理中选取信号相对平稳的中段3s数据进行处理(时间窗TW＝3s，为经验值，时间窗取值与信号采集时长有关，一般选取信号相对平稳段)。图3和图4中躯干频率Torso frequency代表躯干(因距离雷达较近，特指手臂)运动所引起的频率带宽，因手势动作中手臂视为静止，故其带宽基本处于零频附近。

3)对由式(1)得到的每组数据的时频分析结果(即每组数据经式(1)变换所得X(m,ω))，先进行滤除噪声操作，而后在一定时间窗范围内(实验中取时间窗长为3秒)提取信号特征。依据时频分析后数据的微多普勒信息，包括：正向多普勒频率f_p，负向多普勒频率f_n，信号周期T，信号持续时间等，选取观察时频图所获得区分动态连续/非连续手势最明显的信息作为特征进行提取；本实施例选取信号占空比和频率负正比作为特征进行提取。

3-1)噪声滤除。对每组时频分析后数据通过直方图等方法观察其功率大小分布情况，通过设置功率阈值来直接滤除噪声影响，功率阈值通过多次观察调整获得(功率阈值的选取与实验环境及所用雷达有关，一般取最大功率值的30％为阈值。本实验中选用28dBm作为功率阈值。)。由于测试环境相对固定，因此可默认同一阈值对所有测试数据均适用，图3、图4即分别为动态非连续手势弹手指动作和动态连续手势转手掌动作滤除噪声后所得时频图。

3-2)对每组时频分析后数据的时频图中特征进行采集。如图3、图4所示，在一定时间窗范围内(实验中取时间窗长3秒)提取信号特征，依据时频分析后数据的微多普勒信息，包括：正向多普勒频率f_p，负向多普勒频率f_n，信号周期T和信号持续时间等，选取观察时频图所获得区分动态连续/非连续手势最明显的信息作为特征进行提取。经分析，实验中选取信号占空比和频率负正比作为特征进行提取。

信号占空比指的是因手势动作所带来的有效信号存在时间与信号周期的比值。如图3所示，动态非连续手势占空比如式(2)所示：

如图4所示，动态连续手势占空比几乎为1。

频率负正比指时间窗范围内手势动作引起的正向多普勒频率最大值f_p和负向多普勒频率最大值f_n之间的比值，两种手势的频率负正比如式(3)所示：

本实施例中，信号占空比为手势动作持续时间与时间窗长的比值；选取3秒时间窗内微多普勒频率最大值(包括正向多普勒频率f_p和负向多普勒频率f_n，取频率绝对值)的10％作为阈值(实施例所选阈值为经验值，实际运用中可首先设置阈值，通过抽取某几组数据来检验阈值合理性，即抽查几组测试数据所得结果是否达到预期，若未达到则对阈值进行修正)，多普勒频率绝对值低于所选阈值视为非手势动作(即手臂运动)，多普勒频率绝对值高于所选阈值视为手势动作。

频率负正比为3秒时间窗内手势动作带来的最大正向微多普勒频率和最大负向微多普勒频率绝对值的比值。

以上两个特征均为本实施例观察时频图所获得区分动态连续/非连续手势最明显的特征。

4)将步骤3)得到的两类手势的信号处理结果(信号特征)随机分为训练样本和测试样本两组，通过训练样本对SVM分类器进行训练，得到适应本实施例的SVM分类器；将测试样本输入已训练的SVM分类器，输出分类结果，并评估该分类器的分类效果。

由于实验中采集的连续手势和非连续手势数据均为50组，属小样本识别分类，因此在测试过程中采用交叉验证的方法，每次从两类手势数据中各随机抽取40组数据作为训练样本和10组数据作为测试样本，分别进行支持向量机训练和分类测试，共计进行10次测试，测试结果如下表所示。

表1：两类手势特征值及识别成功率表

如表1所示，10次实验识别成功率均为100％，原因有以下三点：一是实验中人体与传感器距离较近，这符合近距离人机交互应用的场景，因此信噪比足够高；二是本发明选取的特征抓住了连续手势和非连续手势的本质差别所在；三是采用支持向量机方法进行分类，充分发挥了支持向量机在小样本情况下分类准确的优势。

从测试结果看，本发明能够提取到可以准确表征两类手势的特征，并通过支持向量机方法在小样本情况下对手势进行分类，分类效果优异。

Claims (1)

1.一种基于微多普勒特征的动态连续/非连续手势识别方法，其特征在于，该方法首先通过雷达采集动态连续/非连续手势数据，即时域雷达信号；随后对时域雷达信号进行时频分析得到回波信号的多普勒频率随时间变化图像，即每组数据的时频图；通过对每组数据的时频分析结果进行噪声滤除和特征提取，得到手势动作的相关特征；最后由支持向量机实现对手势动作的识别分类；该方法具体包括以下步骤：

1)利用雷达采集多组动态连续/非连续手势数据，每组数据采集时间相同，且每组数据包含多个周期的重复手势动作；

2)对步骤1)采集得到的每组数据进行时频分析；步骤1)得到的每组数据均为时域雷达信号，将时域雷达信号采用短时傅立叶变换STFT进行时频分析，得到回波信号的多普勒频率随时间变化图像，即每组数据的时频图；

STFT计算如式(1)所示：

式中，X(m,ω)是短时傅里叶变换后所得时频信号，x[n]是时间信号，w[n]是窗函数，n是对应时间信号的时间，m是窗函数的滑动位置，ω是角频率,j为虚数单位；STFT的结果是一个时间与频率二维平面上的分布，即时频分布，取STFT的结果的模的平方，表示输入信号x[n]在时间与频率平面上的功率；

3)对由式(1)得到的每组数据的时频分析结果，先进行滤除噪声操作，而后在一定时间窗范围内提取信号特征；

3-1)噪声滤除；对每组时频分析后的数据观察其功率大小分布情况，并以最大功率的30％为功率阈值，通过功率阈值来直接滤除噪声影响；

3-2)对每组时频分析后数据的时频图中特征进行采集；在一定时间窗范围内提取信号特征，依据时频分析后数据的微多普勒信息，选取观察时频图所获得区分动态连续/非连续手势最明显的信息作为特征进行提取,所述特征包括：频率负正比、信号占空比；

其中，信号占空比指因手势动作所带来的有效信号存在时间与信号周期的比值；

频率负正比R为时间窗范围内手势动作引起的最大负向多普勒频率绝对值|f_n|和最大正向多普勒频率绝对值|f_p|之间的比值，即：

选取时间窗范围内正向多普勒频率f_p和负向多普勒频率f_n中频率绝对值最大值的10％作为阈值，多普勒频率绝对值大于该阈值的时间段的集合为手势动作部分；小于等于该阈值的时间段的集合为非手势动作部分；

4)将步骤3)得到的两类手势的信号特征随机分为训练样本和测试样本两组，通过训练样本对支持向量机分类器进行训练；经过训练的支持向量机分类器对测试样本进行分类，输出分类结果。