CN109188414A - 一种基于毫米波雷达的手势运动探测方法 - Google Patents

Abstract

本发明公开了一种基于毫米波雷达的手势运动探测方法，该方法使用毫米波雷达作为手势传感器发射线性调频信号，然后在雷达接收端采集回波信号；对采集的雷达信号与本地发射信号进行混频、然后中值滤波得到回波差频信号；对得到的回波差频信号进行小波分析，得到频率随着时间变换的图像；对目标动检测后，得到10幅时频特性图；然后对得到的10幅时频特性图在时频域内拼接后进行去噪和特征提取，得到与手势有关的特征；然后将手势特征信息输入BP神经网络对手势进行识别，最后输出手势识别的结果。本发明采用毫米波雷达作为手势传感器具有分辨率高、抗干扰能力强的优点，采用小波分析对回波信号进行处理，具有实时性好，时频域分辨率都比较高优点。

Description

一种基于毫米波雷达的手势运动探测方法

技术领域

本发明提供一种基于毫米波雷达的手势运动探测方法，属于雷达技术领域和人机交互领域

背景技术

人机交互指的是人与计算机这两者之间通过使用某种指定的交互方式，去完成指定任务而产生信息交换的过程。人机交互技术的目的是更好实现人与计算机之间的交流，帮助人们提高生活质量。近几年来，手势识别技术得到了飞速的发展，目前常用的手势识别方法主要是基于视觉的和基于传感器的方法。基于视觉的手势识别技术容易受视距有限、光线强度影响；基于传感器的手势识别技术使用着必须佩带专门的设备，使用不方便。

采用雷达技术进行手势识别可以很好的避免基于视觉和传感器手势识别技术的局限性。雷达发射的电磁波能够不受光线影响，抗干扰能力强的优点；毫米波雷达采用更高的频段，具有天线体积更小，物理分辨率更高、抗干扰能力更强。此外毫米波雷达还具有功耗低、实时性好、集成度高等优点。

毫米波雷达信号是具有局部细微特性的多散射中心的信号形成的；而小波变换的突出特征就是可以既可以对信号的整体进行分析，又可以提取信号的细微特征部分。

对雷达回波信号进行小波变换能更好的刻画信号的特性。对信号的时频特性分析，傅里叶变换不能反映频率与时间的关系；短时傅里叶变换是一种常用的时频分析方法，短时傅里叶变换受窗函数限制不能敏感地反映信号的突变，不能很好的刻画信息；小波变换是一种窗口固定不变但是其形状可改变的时频局部分析方法，小波变换具有多分辨率，对信号的时频域都有较高的刻画。

BP(back propagation)神经网络网络是20世纪80年代中期提出的一种按照误差逆向传播算法训练多层前馈神经网络。BP神经网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用梯度下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。BP神经网络广泛应用于图像识别、语音分析等众多领域，是目前应用最广泛的神经网络模型之一。

发明内容

本发明针对当前基于视觉的手势识别方法容易受环境、光线影响和基于传感器的手势识别方法使用不方便的问题，提出了一种基于毫米波雷达的手势运动探测方法。

本发明采用的技术方案为一种基于毫米波雷达的手势运动探测方法，该方法使用毫米波雷达作为手势传感器发射线性调频信号，然后在雷达接收端采集回波信号；对采集的雷达信号与本地发射信号进行混频、然后中值滤波得到回波差频信号；对得到的回波差频信号进行小波分析，得到频率随着时间变换的图像，即时频特性图；对目标动检测后，得到10幅时频特性图；然后对得到的10幅时频特性图在时频域内拼接后进行去噪和特征提取，得到与手势有关的特征；然后将手势特征信息输入BP神经网络对手势进行识别，最后输出手势识别的结果。

该方法具体包括以下部分：

步骤1)使用调频连续波雷达作为手势传感器，采用两根发射天线和四根接收天线，多发多收天线可以提高雷达的空间分辨率减小天线体积。首先发射端发射锯齿波调制的FMCW波，启始频率为77GH，上升斜率为17.386MHZ/us,斜率持续时间为474us，每帧时间为100ms。接收端采集回波信号。

步骤2)将步骤1中的回波信号与发射信号进行混频、中值滤波后得到回波差频信号。该差频信号中包含了目标距离产生的多普勒频率和由目标运动产生的多普勒频率。

步骤3)对步骤2中的信号进行小波变换，得到小波变换尺度随时间变化的关系，然后将尺度转化为频率就得到频率随时间变化的图像，即时频特性图；

小波变换的公式如(1)所示：

f(t)是输入信号，ψ(x)是小波变换的基函数，a,b为尺度变换因子。

小波基函数的选取对信号的分析结果影响较大，利用小波分析从雷达信号中提取细微特征需要对信号的时频域都有较高的刻画，因此，本方法使用时频域特性都较好的Morlet小波作为小波基函数。

Morlet小波表达式如公式(2)所示：

式中t为时间，Ω为无量纲频率。

步骤4)对进行动目标检测，如果目标运动则采集连续10帧的时频特性图，得到10幅时频特性图像；否则继续进行动目标检测。

动目标检测：当目标进入雷达波束内时，回波信号的强度会发生较为明显的变化；通过设置一个阈值，当回波强度大于这一阈值时就认为检测到了运动目标；否则继续进行检测。

步骤5)对步骤4中得到的10幅特性图像在时频平面依次拼接，得到一幅拼接后的时频图。对该图进行去噪处理，然后提取图像的边缘特征信息，作为手势特征信息。

步骤5-1去噪处理：对拼接后的时频图像进行先膨胀处理然后腐蚀处理，从而达到去噪的目的。

步骤5-2对去噪后的图像进行Hough变换，从而提取图像中的边缘特征信息，然后将这些特征信息作为手势特征信息。

步骤6)将步骤5)中提取到的手势特征信息随机分为训练样本和测试样本两组，利用训练样本对BP网络进行训练；然后用经过训练的BP神经网络对测试样本进行识别，最后输出识别结果。

附图说明

图1为本发明的一种基于毫米波雷达的手势运动探测方法的流程框图。

图2为毫米波雷达的硬件框图。

图3为实验实施场景图。

具体实施方式

本发明提出一种基于毫米波雷达的手势运动探测方法，下面结合附图和实施实例进一步说明：

本发明提出一种基于毫米波雷达的手势运动探测方法，流程框图如图1所示。一种基于毫米波雷达的手势运动探测方法。该方法使用毫米波雷达作为手势传感器发射线性调频信号，然后在雷达接收端采集回波信号；对采集的雷达信号与本地发射信号进行混频、然后中值滤波得到回波差频信号。；对得到的回波差频信号进行小波分析，得到频率随着时间变换的图像，即时频特性图；对目标动检测后，得到10幅时频特性图；然后对得到的10幅时频特性图在时频域内拼接后进行去噪和特征提取，得到与手势有关的特征；然后将手势特征信息输入BP神经网络对手势进行识别，最后输出手势识别的结果。本方法具体包括以下步骤：

1)使用77-81GHZ FMCW(调频连续波)雷达作为手势传感器，其硬件框图如附图2所示，采用两根发射天线和四根接收天线，多发多收天线可以提高雷达的空间分辨率。首先发射端发射锯齿波调制的FMCW波，启始频率为77GH，上升斜率为17.386MHZ/us,斜率持续时间为474us,每帧时间为100ms。接收端采集回波信号。

2)将步骤1中的回波信号与发射信号进行混频、中值滤波后得到回波差频信号。该差频信号中包含了目标距离产生的多普勒频率和由目标运动产生的多普勒频率。本实施例中，毫米波雷达天线与测试者手相距20厘米到50厘米之间；测试者手势在天线波束内移动，如图3所示。

(3)对(2)中得到的信号进行小波变换，得到小波变换尺度随时间变化的关系，然后将尺度转化为频率就可以得到频率随时间变化的图像，即时频特性图；

小波变换的公式如(1)所示：

f(t)是输入信号，ψ(x)是小波变换的基函数，a,b为尺度变换因子。

小波基函数的选取对信号的分析结果影响较大，利用小波分析从雷达信号中提取细微特征需要对信号的时频域都有较高的刻画，经过实验验证发现Morlet小波时频域特性都较好，因此选用Morlet小波作为小波基函数。

Morlet小波表达式如公式(2)所示：

式中t为时间，Ω为无量纲频率。

(4)对进行动目标检测，如果目标运动了则采集连续10帧的时频特性图，得到10幅时频特性图像；否则继续进行动目标检测。本实施实例中每个动作都在1s内完成，所以10帧数据能够能够完整的代表手势动作过程。

动目标检测：当目标进入雷达波束内时，回波信号的强度会发生较为明显的变化；通过设置一个阈值，当回波强度大于这一阈值时就认为检测到了运动目标；否则继续进行检测。

(5)对步骤4中得到的10幅特性图像在时频平面依次拼接，得到一幅拼接后的时频图。首先对拼接后的时频图像进行先膨胀处理然后腐蚀处理，从而达到去噪的目的。然后对去噪后的图像进行Hough变换，从而提取图像中的边缘特征信息，然后将这些特征信息作为手势特征信息。因为这里得到的时频图中是包含了目标的距离和速度等特征的，而这些特征是包含在图像的边缘中的，因此对该时频图像进行边缘特征提取就能获得手势运动的特征信息。

(6)将5中提取到的手势特征信息保存并存储，把数据随机分为训练样本和测试样本两组，利用训练样本对BP网络进行训练；然后用经过训练的BP神经网络对测试样本进行识别，最后输出识别结果。本实施实例中选取70％的数据作为BP神经网络的训练样本，其余数据作为测试样本。选取了静止，由掌握拳，向前推，向后拉四种手势，每种手势重复40次，所以测试样本数量为112组，测试样本为40组，测试结果准确率达到了95％以上。测试结果如表1所示。

表1测试结果

手势	静止	由掌握拳	向前推	向后拉
					准确率	90％	90％	100％	100％

从实验结果看每个手势动作的识别率都很高，向前推和向后拉的准确率达到了100％。

综上所述，本发明通过使用毫米波雷达作为手势传感器，对回波信号以小波分析处理后，通过BP神经网络训练，最终能实现对手势的实时，高准确率的识别。

Claims (3)

1.一种基于毫米波雷达的手势运动探测方法，其特征在于：该方法使用毫米波雷达作为手势传感器发射线性调频信号，然后在雷达接收端采集回波信号；对采集的雷达信号与本地发射信号进行混频、然后中值滤波得到回波差频信号；对得到的回波差频信号进行小波分析，得到频率随着时间变换的图像，即时频特性图；对目标动检测后，得到10幅时频特性图；然后对得到的10幅时频特性图在时频域内拼接后进行去噪和特征提取，得到与手势有关的特征；然后将手势特征信息输入BP神经网络对手势进行识别，最后输出手势识别的结果。

2.根据权利要求1所述的一种基于毫米波雷达的手势运动探测方法，其特征在于：该方法具体包括以下部分：

步骤1)使用调频连续波雷达作为手势传感器，采用两根发射天线和四根接收天线，多发多收天线可以提高雷达的空间分辨率减小天线体积；首先发射端发射锯齿波调制的FMCW波，启始频率为77GH，上升斜率为17.386MHZ/us,斜率持续时间为474us，每帧时间为100ms；接收端采集回波信号；

步骤2)将步骤1中的回波信号与发射信号进行混频、中值滤波后得到回波差频信号；该差频信号中包含了目标距离产生的多普勒频率和由目标运动产生的多普勒频率；

步骤3)对步骤2中的信号进行小波变换，得到小波变换尺度随时间变化的关系，然后将尺度转化为频率就得到频率随时间变化的图像，即时频特性图；

小波变换的公式如(1)所示：

f(t)是输入信号，ψ(x)是小波变换的基函数，a,b为尺度变换因子；

小波基函数的选取对信号的分析结果影响较大，利用小波分析从雷达信号中提取细微特征需要对信号的时频域都有较高的刻画，因此，本方法使用时频域特性都较好的Morlet小波作为小波基函数；

Morlet小波表达式如公式(2)所示：

式中t为时间，Ω为无量纲频率；

步骤4)对进行动目标检测，如果目标运动则采集连续10帧的时频特性图，得到10幅时频特性图像；否则继续进行动目标检测；

动目标检测：当目标进入雷达波束内时，回波信号的强度会发生较为明显的变化；通过设置一个阈值，当回波强度大于这一阈值时就认为检测到了运动目标；否则继续进行检测；

步骤5)对步骤4中得到的10幅特性图像在时频平面依次拼接，得到一幅拼接后的时频图；对该图进行去噪处理，然后提取图像的边缘特征信息，作为手势特征信息；

步骤6)将步骤5)中提取到的手势特征信息随机分为训练样本和测试样本两组，利用训练样本对BP网络进行训练；然后用经过训练的BP神经网络对测试样本进行识别，最后输出识别结果。

3.根据权利要求2所述的一种基于毫米波雷达的手势运动探测方法，其特征在于：步骤5)中，包括以下步骤，步骤5-1去噪处理：对拼接后的时频图像进行先膨胀处理然后腐蚀处理，从而达到去噪的目的；

步骤5-2对去噪后的图像进行Hough变换，从而提取图像中的边缘特征信息，然后将这些特征信息作为手势特征信息。