CN111813222A - 一种基于太赫兹雷达的精细动态手势识别方法 - Google Patents

Abstract

本发明属于雷达和人机交互技术领域，具体涉及一种基于太赫兹雷达的精细动态手势识别方法。本发明的方法首先对基于太赫兹雷达平台采集的运动手势数据进行预处理，去除静止目标和背景噪声；然后根据时间序列上雷达回波信号包含的能量大小对完整手势进行检测分割；接着对每个完整运动手势样本提取时间上的多普勒频移分布图谱特征，进行特征增强和尺寸统一；最后采用卷积神经网络进行模型的训练，从而实现手势的分类识别。发明的方法对精细运动手势具有较高的识别准确率。

Description

一种基于太赫兹雷达的精细动态手势识别方法

技术领域

本发明属于雷达和人机交互技术领域，具体涉及一种基于太赫兹雷达的精细动态手势识别方法。

背景技术

随着智慧时代的来临，人与机器之间的交互日益频繁。通过键盘和鼠标控制、需要被动学习预先设置的规定操作来实现基于图形用户界面的人机交互方式，给用户带来了沉重的操作记忆负担，并且可拓展性不强，严重地限制了人机交互过程中的操作效率和用户体验。作为新一代的人机交互形式，自然用户界面(Natural User Interface,NUI)以一种更加适应人类需求和喜好、更自然和更接近现实行为方式来实现交互，这其中一项重要类别就是手势交互。它将用户本身当作输入设备，匹配用户潜在的知识和习惯，以一种自然直接的方式实现人机交互。

目前，针对手势这一新的人机交互方式，引发了研究者的广泛关注。对于手势的识别方案主要是基于光学传感器、雷达传感器、惯性传感器和超声波传感器等。对比其它几种手势识别方案来说，基于雷达传感器的识别方案具有一些优势：对光照等环境变换不敏感，对烟雾具有一定的穿透性；直接捕捉波束范围内的目标运动并跟踪，降低对计算处理的要求；将雷达传感器芯片内置于电子设备中，而不必佩戴额外的辅助设备进行控制，带来高度的灵活度和舒适性。同时，由于太赫兹雷达的高频段和高带宽，能够极大地增加空间分辨率和速度分辨率，从而在运动手势的雷达反射回波中捕捉手势的微小手指运动和肌肉变化，对不同手势的运动状态给出准确描述。

因此，基于太赫兹雷达的手势识别方案能够带来更高的识别准确率，提升用户在人机交互过程中操作效率和使用体验。目前针对雷达动态手势识别的研究多集中在较大运动幅度范围的手势当中，为了进一步实现交互过程中的微小运动控制需求，需要将识别的手势集中在手腕以上的手掌和多手指运动这类精细手势识别上面。这类精细运动手势在雷达径向范围内的运动距离小，完成时间短，不同手势之间相似程度较高。这就对基于雷达传感器的运动手势识别提出严峻的挑战。同时，由于太赫兹雷达高频段带来目标径向速度超过最大可测速度而产生的速度模糊问题也影响了雷达手势识别的进一步发展。如何识别这类精细手势是未来提升用户交互体验和应用推广的关键问题。

发明内容

针对上述问题，为了实现基于太赫兹雷达的精细动态手势识别，本发明提出了一种通过提取单个完整手势运动过程中产生的多普勒频移分布图谱，来实现基于太赫兹雷达的精细动态手势识别方法。

本发明采取的技术方案如图1所述，具体流程为：

步骤1、对不同手势运动过程中产生的雷达回波信号进行采集。在获取训练数据时，选择不同年龄和性别的多名志愿者，利用太赫兹雷达对多种动态手势的雷达回波信号数据进行采集，分别采集不同志愿者对于不同预定义手势的多个完整重复周期运动的雷达回波数据。

步骤2、对步骤1采集到由运动手势产生的雷达回波数据矩阵

沿快时间维度做快速傅里叶变换，获得慢时间维度上的高分辨距离像(High Resolution RangeProfile,HRRP)序列矩阵

其中k为快速傅里叶变换的点数。

步骤3、对序列矩阵H依次截取帧长为N的矩阵

其中

分别进行静止目标和背景噪声的去除。

对于h_i，沿慢时间维度做快速傅里叶变换，将零频置零，再进行傅里叶逆变换获得去静止目标后的矩阵h_i。

针对雷达回波信噪比较低的情况，通过实验发现，经太赫兹雷达采集的手势数据，背景噪声幅度的统计规律近似服从瑞利分布：

且满足均值

故可以根据矩阵h_i的幅度统计估计出参数μ。设定检测阈值为Th，虚警概率为P_fa，则基于CFAR检测的阈值：

因此，将矩阵h_i当中确定高于阈值的的值保留，低于阈值的值置零。

针对矩阵h_i当中残留的噪声孤立点，采用奇异值分解进行去除。即分解矩阵h_i＝UΣV^H，其中

矩阵Σ仅在主对角线上有值，保留主对角线上前j个奇异值，其它置零，获取矩阵Σ的近似Σ′。最终得到去除噪声孤立点的矩阵h_i＝UΣ′V^H。

步骤4、对序列矩阵

进行去静止目标和背景噪声消除以后，根据慢时间维度上的能量强度分布来检测分割单个完整的手势运动数据段。

对h_i沿慢时间维度做快速傅里叶变换

其值的幅度大小表示了目标在距离和多普勒频移上的能量强度分布，p表示快速傅里叶变换的点数。那么h_i所对应的能量表示为

同时采用跨度为w进行滑动平均，即

对于由e₁′,e₂′,e₃′,…组成的经过滑动平均后的能量序列，寻找对应的极小值点位置索引d₁,d₂,d₃,…。相邻索引d_i和d_i+1之间对应于序列矩阵H的数据段

就表示一个完整的运动手势数据样本，从而实现了在采集的多个连续动态手势当中分割出单个完整手势样本。

步骤5、针对步骤4当中提取的单个完整运动手势数据样本，提取手势运动过程中产生的多普勒频移分布图谱。

一个完整运动手势数据样本

与之一一对应的距离-多普勒图可以表示为：

由于不同时刻运动目标的多个散射点反射回来的回波能量差异较大，为了进一步增强多普勒频移的分布特征，对其进行了归一化处理，即

对不同时刻的的距离-多普勒图进行按列求和，提取手势运动过程中产生的多普勒频移分布图谱，即：

且

步骤6、对步骤5当中所提取的一个完整运动手势样本对应的多普勒频移分布图谱进行特征增强，采用最近邻插值的方法将其统一到相同大小，然后对P按列进行归一化。最后将所有手势提取的多普勒频移分布图谱和对应的手势类别标签送入卷积神经网络进行训练，对手势样本进行分类识别。

本发明的有益效果为，本发明基于太赫兹雷达平台提出了一种提取完整手势运动产生的多普勒频移分布图谱来实现精细运动手势的识别方法，首先对基于太赫兹雷达平台采集的运动手势数据进行预处理，去除静止目标和背景噪声；然后根据时间序列上雷达回波信号包含的能量大小对完整手势进行检测分割；接着对每个完整运动手势样本提取时间上的多普勒频移分布图谱特征，进行特征增强和尺寸统一；最后采用卷积神经网络进行模型的训练，从而实现精细运动手势的分类识别。

附图说明

图1为本发明基于太赫兹雷达的精细动态手势识别流程；

图2为多个动态连续手势的原始HRRP序列与去静止目标、去背景噪声后的手势分割示意图；

图3为本发明所使用的卷积神经网络结构图。

具体实施方式

下面结合附图和实施例说明本发明的实用性。

实施例

本例采用的频率调制连续波太赫兹雷达系统的工作频段为340GHz，带宽为28.8GHz，脉冲重复频率为1000Hz，采样频率为1.5625MHz。选择10个志愿者进行6类自定义运动手势的数据采集。自定义的6种手势分别为：四指弯曲、食指画圈、五指抓取、食指左右滑动、食指前后滑动和食指点击。不同志愿者对不同手势进行多次重复实现，每个完整动态手势之间的时间间隙不等。

在对获得的手势数据按照本发明的实施步骤进行处理，首先在HRRP序列矩阵中对静止目标和背景噪声的消除(消除效果如图2所示)；然后根据时间序列上的能量值对连续手势数据进行分割，获取单个完整运动手势数据样本；最后提取每个手势在时间序列上的多普勒频移分布特征，将提取的特征图谱和对应的手势标签类别送入到卷积神经网络进行训练，进行手势的分类识别。需要特别说明的是，由于不同志愿者手势运动的差异性，每个完整动态手势数据持续时间长短不一，反映在提取的多普勒频移分布图谱大小规格不一样。为了适应卷积神经网络的特征数据输入需要，采用最近邻插值的方法将大小不一的特征图谱归一化得到128*32的矩阵大小。

本次所提取的训练样本数量总数为1343，为了准确评价模型分类性能，采取7-折交叉验证的方法。全部样本被分成7组，将每个子集数据分别做一次验证集，其余6组子集数据作为训练集，以此产生对应的7个模型。这7个模型对应验证集的分类准确率的平均值作为整体的分类准确率。同时，采用的卷积神经网络主要由卷积层、池化层和全连接层等组成，使用Dropout来避免模型训练过程中产生的过拟合现象，具体结构如附图3所示，模型分类准确率如表1所示。

表1六种手势进行交叉验证的识别准确率

子集1

子集2

子集3

子集4

子集5

子集6

子集7

平均值

94.33％

98.96％

95.83％

97.40％

95.81％

98.43％

95.79％

96.65％

从实验结果可以看出，本发明能够通过提取单个完整运动手势产生的多普勒频移分布图谱特征实现基于太赫兹雷达平台的精细动态手势识别。

Claims (2)

1.一种基于太赫兹雷达的精细动态手势识别方法，其特征在于，包括以下步骤：

S1、采集不同手势运动过程中产生的雷达回波信号，构建雷达回波数据矩阵

其中m表示一个雷达回波的采样点数，n表示一组采集数据的回波数；

S2、对W沿快时间维度做快速傅里叶变换，获得慢时间维度上的高分辨距离像序列矩阵

其中k为快速傅里叶变换的点数；

S3、对序列矩阵H依次截取帧长为N的矩阵

其中

分别进行静止目标和背景噪声的去除，具体方法为：

去除静止目标：对h_i沿慢时间维度做快速傅里叶变换，将零频置零，再进行傅里叶逆变换获得去静止目标后的矩阵h_i；

去除背景噪声：对h_i进行基于背景噪声幅度服从瑞利分布的CFAR检测进行噪声消除，针对矩阵h_i当中残留的噪声孤立点，采用奇异值分解进行去除；

S4、对序列矩阵

进行去静止目标和背景噪声去除以后，根据慢时间维度上的能量强度分布来检测分割单个完整的手势运动数据段，具体为：

首先依次获取矩阵h_i所对应的能量值e_i，然后采用跨度w进行滑动平均，获取经过滑动平均后的能量序列曲线e₁′,e₂′,e₃′,…，最后寻找对应的极小值点位置索引d₁,d₂,d₃,…，相邻索引d_i和d_i+1之间对应于序列矩阵H的数据段

就表示一个完整的运动手势数据样本，从而实现在采集的多个连续动态手势当中分割出单个完整手势样本；

S5、对分割出的单个完整手势样本，提取手势运动过程中产生的多普勒频移分布图谱，具体为：

令与完整的运动手势数据样本

对应的距离-多普勒图表示为：

对其进行归一化处理：

对不同时刻的的距离-多普勒图进行按列求和，提取手势运动过程中产生的多普勒频移分布图谱：

p表示快速傅里叶变换的点数；

S6、对提取的完整运动手势样本对应的多普勒频移分布图谱进行特征增强，采用最近邻插值的方法将其统一到相同大小，然后对P按列进行归一化，最后将所有手势提取的多普勒频移分布图谱和对应的手势类别标签送入卷积神经网络进行训练，实现对手势样本进行分类识别。

2.根据权利要求1所述的一种基于太赫兹雷达的精细动态手势识别方法，其特征在于，步骤S3中所述去除背景噪声的具体方法为：

对太赫兹雷达采集的手势数据，令背景噪声幅度的统计规律近似服从瑞利分布：

且满足均值

根据矩阵h_i的幅度统计估计出参数μ，并设定检测阈值为Th，虚警概率为P_fa，得到基于CFAR检测的阈值：

将矩阵h_i当中确定高于阈值的值保留，低于阈值的值置零；

对矩阵h_i当中残留的噪声孤立点，采用奇异值分解进行去除，具体为：分解矩阵h_i＝UΣV^H，其中

矩阵Σ仅在主对角线上有值，保留主对角线上前j个奇异值，其它置零，获取矩阵Σ的近似Σ′，得到去除噪声孤立点的矩阵h_i＝UΣ′V^H。

Images