CN108519812B - 一种基于卷积神经网络的三维微多普勒手势识别方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的三维微多普勒手势识别方法，涉及人机交互、无线感知和图像处理领域，具体涉及到使用卷积神经网络对三通道雷达架构探测到的三维微多普勒手势时频图识别方法。该方法首先提出能充分采集手势速度信息的三通道摆放系统架构；使用能量窗统计技术能连续提取有效的手势时域信号；使用时频图合成方式，使得三通道时频图信息可以同时融合处理；设计出经过裁剪并加入SVM层的卷积神经网络，能充分提取图像信息，识别准确率高。

Description

一种基于卷积神经网络的三维微多普勒手势识别方法

技术领域

本发明涉及人机交互、无线感知和图像处理领域，具体涉及到使用卷积神经网络对三通道雷达架构探测到的三维微多普勒手势时频图识别方法。

背景技术

手势作为最传统的人机交互方式得到了巨大的发展，特别是当各种智能小型化电子设备已经越来越多的出现在人们生活中，电子设备的智能人机交互成为了大家研究的重点。目前在人机交互领域广泛应用的是基于视觉和穿戴式传感器的手势识别技术，目前基于视觉的手势识别技术已经应用于车载系统的视频手势控制和手语翻译识别，而基于穿戴式传感器的手势识别技术已应用于体感游戏中。基于视觉和穿戴传感器的手势识别具有精度高和手势种类多的有点，但是在光线昏暗下无法使用，而且在用户上穿戴东西降低了体验性，并且它们都具有较大的体积。

针对视觉手势识别光线要求高和穿戴传感器体验性不高缺点，使用无线感知技术对手势进行识别成为了研究的一个方向。国外研究人员利用常见的WiFi信号，实现了对房间内简单手势信号的识别；而谷歌针对微形的智能手表等移动电子设备的操作控制，利用高频段雷达开发了手势识别系统，该系统能探测手指的位置和速度信息实现了对精细手势的识别，然而该系统对硬件要求高，成本巨大。清华大学针对一维的雷达微多普勒时频图使用支持向量机识别，然而手势的速度信息在三维上都有体现，这导致他的手势速度信息提取不够充分手势种类较少。

发明内容

本发明提供一种适用于利用雷达三维微多普勒信息进行手势识别的方法，本发明首先提出了三通道雷达摆放架构，通过能量窗统计技术提取出手势信号，使用卷积神经网络对三通道合成的时频图识别，具有手势种类多、手势限制少和识别率高的优点。

本发明技术方案如下：

一种基于卷积神经网络的三维微多普勒手势识别方法，包括以下步骤：

步骤1：搭建三通道雷达摆放架构

将三个相互独立的自发自收雷达，分别在x、y和z上方向上按照固定角度摆放，作为手势信号获取装置；

步骤2：能量窗统计技术提取有效手势信号区域

以W为窗口大小W的取值范围为大于等于15ms小于等于25ms，首先分别得到三个雷达在空环境下的信号能量值为E_x、E_y和E_z，之后以相同的窗口大小统计三个雷达的信号能量值，当某个雷达的窗口内信号能量值大于空环境该雷达的信号能量值一定阈值时，认定该窗口内存在手势信号，该阈值根据步骤1中三个雷达的实际情况确定；如果存在手势的窗口后连续Q个窗口都不存在手势信号则认为该手势已经结束，其中Q大于等于43小于等于62，将第一个出现手势的窗口和最后一个出现手势的窗口的这段时间内三个雷达获取的信号时域区域截取出来作为有效手势信号区域；

步骤3：时频图合成

将步骤2中提取的三个雷达时域手势信号通过短时傅里叶变换得到三张频率随时间分布的时频图，将代表时频图的三个时频图矩阵按行组合，得到列数不变行数增加的合成时频图矩阵；对合成的时频图矩阵使用伪彩色法将灰度时频图转换成为具有RGB的彩色时频图；

步骤4：设计卷积神经网络模型

将已知的VGG16卷积神经网络的conv1到fc2层作为步骤3得到时频图像的图像特征提取层，合成时频图的特征全部体现在fc2层的4096个特征向量中；之后从4096个特征向量中使用差值法裁剪出1000个最能代表不同手势图像差别的特征向量，再在裁剪出1000个特征的fc2层后接入一个SVM层，由SVM层给出最终识别结果；

步骤5：训练卷积神经网络模型

首先由多人产生丰富的数据集，将尺寸不一的具有RGB的彩色时频图归一化到指定的大小；之后将不同类别的手势输入步骤4建立的VGG16卷积神经网络，每一张时频图可在fc2层得到4096维特征向量；然后根据所有类别综合得到的特征向量使用差值法，确定M个最能体现类别差距的特征向量；最后由这M个特征向量作为SVM层的输入，采用序列最小最优算法可以训练出SVM模型，其中M的取值为大于等于900小于等于1200；

步骤6：使用卷积神经网络模型识别

采用步骤1～步骤3相同的方法获取指定大小的具有RGB的彩色时频图，采用步骤4训练出的SVM模型对得到的具有RGB的彩色时频图进行识别，输出识别结果。

进一步的，所述步骤2中W的取值为20ms，Q的取值为50，步骤4中M取值为1000。

进一步的，所述步骤3中使用伪彩色方法将A转换为彩色图像B，其具体使用的方法为：

B(m,ω,0)＝0.3*A(m,ω)

B(m,ω,1)＝1*A(m,ω)

B(m,ω,2)＝0.4*A(m,ω)

其中B(m,ω,0)、B(m,ω,1)和B(m,ω,2)分别为彩色图像的R、G、B通道，m表示行，ω表示列，A(m,ω)表示时频矩阵。

进一步的，所述步骤4中采用差值法选择出最能代表不同手势图像差别的M个特征向量，具体方法为：

先统计每种类手势的在第L维特征向量的均值：

其中g(i)代表第i张图片在第L维的特征值，N表示共有N张图片；

然后将各种手势在同样的L维处的差值D(L)进行计算:

其中I和J表示手势种类的标号，m(I,L)、m(J,L)表示手势I、J在第L维特征向量的均值，从4096个特征向量的差值中选择前M个差值最大的特征向量。

本发明的有益效果是：

本发明提出了一种基于卷积神经网络的三维微多普勒手势识别方法，该方法首先提出能充分采集手势速度信息的三通道摆放系统架构；使用能量窗统计技术能连续提取有效的手势时域信号；使用时频图合成方式，使得三通道时频图信息可以同时融合处理；设计出经过裁剪并加入SVM层的卷积神经网络，能充分提取图像信息，识别准确率高。

附图说明

图1为基于卷积神经网络的三维微多普勒手势识别方法流程图。

图2为三通道雷达摆放架构图。

图3为手势运动定义图。

图4为手势的时频图。

具体实施方式

下面结合附图介绍本发明体实施方式。

本发明的流程图如图1所示，其实现的具体步骤为：

步骤1：搭建三通道雷达摆放架构

如图2所示将三个相互独立的自发自收雷达，分别放置在1、2和3三个平面的黑色方块标记的位置，雷达所处位置的平面2、3与平面1的成固定120度的角度。

步骤2：能量窗统计技术提取有效手势信号区域

首先在空环境下以20ms为能量窗大小，三个雷达分别连续采集100个窗的时域信号，统计求100个窗的平均能量大小为E_x、E_y和E_z，之后以同样的窗口大小统计三个通道的能量值EE_x、EE_y和EE_z，当任何一个雷达通道的能量窗值超过已知的空环境能量值ET时，便认为该能量窗内存在手势信号并保存该窗的位置。如果在某个存在手势的能量窗后，连续50个能量窗都不存在手势信号则认为该手势已经结束，将第一个出现能量窗和最后一个出现能量窗的时域区域截取出来作为有效手势信号区域x(n)、y(n)和z(n)。

步骤3：时频图合成

首先将步骤2中提取的三个通道时域手势信号通过短时傅里叶变换:

A(m,ω)是短时傅里叶变换后的时频图，其中Y(n)是时域手势信号，H是汉明窗函数，m为窗函数滑动的位置。此时A(m,ω)为一个灰度图像，为了显著的展现时频图的能量和形状特征使用伪彩色方法将A转换为彩色图像B，其具体使用的方法为：

B(m,ω,0)＝0.3*A(m,ω)

B(m,ω,1)＝1*A(m,ω)

B(m,ω,2)＝0.4*A(m,ω)

其中B(m,ω,0)、B(m,ω,1)和B(m,ω,2)分别为彩色图像的R、G、B通道。之后将三张频率随时间分布的时频图，将代表时频图的三个时频图矩阵按行组合，得到列数没变行数增加的合成时频图矩阵。具体的各种手势合成时频图如图4所示。

步骤4：设计卷积神经网络模型

卷积神经网络模型是在已公开的VGG16的基础上改进而来，首先将已知的VGG16卷积神经网络的conv1到fc2层作为时频图像的图像特征提取层，合成时频图的特征全部体现在fc2层的4096个特征向量中。由于手势数据量并不是非常巨大，为了防止过拟合将从4096个特征向量中裁剪出1000个最能代表不同手势图像差别的特征向量。其具体差值法为，先统计每种类手势的在第L为特征向量的均值：

其中g(i)代表第i张图片在第L维的特征值。然后将各种手势在同样的L维处的差值D(L)进行统计:

其中I和J表示手势种类的标号，从4096个特征向量的差值中选择出前1000个特征向量，最后将这1000个特征向量与SVM层的输入连接形成如表1所示的卷积神经网络结构：

表1卷积神经网络结构

步骤5：训练卷积神经网络模型

首先在图3所定义的手势运动标准下，5个人分别对每种手势重复做100次，得到每种手势500个，6种手势共3000张时频图。然后将尺寸不一的时频图重新调整到224*224大小。之后时频图将输入已经知道的VGG16卷积神经网络，提取出它的fc2层的4096维特征向量。然后根据所有类别综合得到的特征向量使用差值法，确定1000个最能体现类别差距的特征向量。最后由这1000个特征向量作为SVM层的输入，借用公开的LIBSVM工具箱训练SVM层的参数，最终得到由裁剪的VGG16和SVM层结合的卷积神经网络。

步骤6：使用卷积神经网络模型识别

在步骤5的基础上，对于重新做手势产生的时频图只需将图像尺寸重新生成大小，然后输入到训练好的卷积神经网络模型，最后由模型计算输出最终的所属类别。通过重新采集的数据测试，使用卷积神经网络模型的综合识别准确率达到96％，具有高的应用性。

Claims (4)

1.一种基于卷积神经网络的三维微多普勒手势识别方法，包括以下步骤：

步骤1：搭建三通道雷达摆放架构

将三个相互独立的自发自收雷达，分别在x、y和z上方向上按照固定角度摆放，作为手势信号获取装置；

步骤2：能量窗统计技术提取有效手势信号区域

以W为窗口大小W的取值范围为大于等于15ms小于等于25ms，首先分别得到三个雷达在空环境下的信号能量值为E_x、E_y和E_z，之后以相同的窗口大小统计三个雷达的信号能量值，当某个雷达的窗口内信号能量值大于空环境该雷达的信号能量值一定阈值时，认定该窗口内存在手势信号，该阈值根据步骤1中三个雷达的实际情况确定；如果存在手势的窗口后连续Q个窗口都不存在手势信号则认为该手势已经结束，其中Q大于等于43小于等于62，将第一个出现手势的窗口和最后一个出现手势的窗口的这段时间内三个雷达获取的信号时域区域截取出来作为有效手势信号区域；

步骤3：时频图合成

将步骤2中提取的三个雷达时域手势信号通过短时傅里叶变换得到三张频率随时间分布的时频图，将代表时频图的三个时频图矩阵按行组合，得到列数不变行数增加的合成时频图矩阵；对合成的时频图矩阵使用伪彩色法将灰度时频图转换成为具有RGB的彩色时频图；

步骤4：设计卷积神经网络模型

将已知的VGG16卷积神经网络的conv1到fc2层作为步骤3得到时频图像的图像特征提取层，合成时频图的特征全部体现在fc2层的4096个特征向量中；之后从4096个特征向量中使用差值法裁剪出1000个最能代表不同手势图像差别的特征向量，再在裁剪出1000个特征的fc2层后接入一个SVM层，由SVM层给出最终识别结果；

步骤5：训练卷积神经网络模型

首先由多人产生丰富的数据集，将尺寸不一的具有RGB的彩色时频图归一化到指定的大小；之后将不同类别的手势输入步骤4建立的VGG16卷积神经网络，每一张时频图可在fc2层得到4096维特征向量；然后根据所有类别综合得到的特征向量使用差值法，确定M个最能体现类别差距的特征向量；最后由这M个特征向量作为SVM层的输入，采用序列最小最优算法可以训练出SVM模型，其中M的取值为大于等于900小于等于1200；

步骤6：使用卷积神经网络模型识别

采用步骤1～步骤3相同的方法获取指定大小的具有RGB的彩色时频图，采用步骤4训练出的SVM模型对得到的具有RGB的彩色时频图进行识别，输出识别结果。

2.如权利要求1所述的一种基于卷积神经网络的三维微多普勒手势识别方法，其特征在于所述步骤2中W的取值为20ms，Q的取值为50，步骤4中M取值为1000。

3.如权利要求1所述的一种基于卷积神经网络的三维微多普勒手势识别方法，其特征在于所述步骤3中使用伪彩色方法将A转换为彩色图像B，其具体使用的方法为：

B(m,ω,0)＝0.3*A(m,ω)

B(m,ω,1)＝1*A(m,ω)

B(m,ω,2)＝0.4*A(m,ω)

其中B(m,ω,0)、B(m,ω,1)和B(m,ω,2)分别为彩色图像的R、G、B通道，m表示行，ω表示列，A(m,ω)表示时频矩阵。

4.如权利要求1或3所述的一种基于卷积神经网络的三维微多普勒手势识别方法，其特征在于所述步骤4中采用差值法选择出最能代表不同手势图像差别的M个特征向量，具体方法为：

先统计每种类手势的在第L维特征向量的均值：

其中g(i)代表第i张图片在第L维的特征值，N表示共有N张图片；

然后将各种手势在同样的L维处的差值D(L)进行计算:

其中I和J表示手势种类的标号，m(I,L)、m(J,L)表示手势I、J在第L维特征向量的均值，从4096个特征向量的差值中选择前M个差值最大的特征向量。

Images