CN113449711A

CN113449711A - 一种基于方向密度特征的微多普勒图像手语感知识别方法

Info

Publication number: CN113449711A
Application number: CN202111017435.3A
Authority: CN
Inventors: 李北辰; 杨阳
Original assignee: Tianjin University
Current assignee: Tianjin University
Priority date: 2021-09-01
Filing date: 2021-09-01
Publication date: 2021-09-28

Abstract

本发明提供了一种基于方向密度特征的微多普勒图像手语感知识别方法，包括步骤1：信号预处理；步骤2：构建数据集；步骤3：方向密度带划分；步骤4：像素梯度幅值和方向角计算；步骤5：选定方向密度带组；步骤6：新的雷达探测的手语微多普勒图像输入到训练完成的分类器，实现手语感知识别。本发明一种基于方向密度特征的微多普勒图像手语感知识别方法，创造性的使用方向密度特征进行手语感知分类，相比于现有的手语识别方式，实现更高的分类准确度同时，具有计算复杂度低、占用内存资源少以及非常适用于计算能力有限的嵌入式识别装置的特点。

Description

一种基于方向密度特征的微多普勒图像手语感知识别方法

技术领域

本发明属于图像处理领域，尤其是涉及一种基于方向密度特征的微多普勒图像手语感知识别方法。

背景技术

手势是人们表达思想和感情的一种非语言类沟通方式，它有助于加强人们在交流中传递的信息。手语是一种包含视觉动作和符号的结构化手势，用作一种信息交流系统。对于聋哑人和语言障碍群体来说，手语是日常交流的重要工具。然而，手语在听力界并不常见，能“听”懂手语的人更少。这在聋人社区和社会其他成员之间形成了一种真正的沟通障碍。手语识别技术能让机器理解人类的动作及其意义，能帮助健康人更方便、更容易地走进聋哑人的世界，更多地了解和满足他们内心的情感需求，增强他们的社会归属感和生活幸福感。因此，逐步实现健康人与聋哑人之间的无障碍交流，具有深远的意义和良好的社会效益。在现有技术条件下，针对手语动作的特点，各国研究人员提出了不同原理的手语识别方法。

目前，用于手语信号捕获的传感器主要有表面肌电（surface electromyography，sEMG）传感器、数据手套（data glove）、深度（Kinect）传感器等。基于这些传感器，人们已经提出了许多与之相匹配的手语识别方法。使用表面肌电、数据手套和深度传感器等可以容易地捕捉到手部的运动信息。但是由于采集过程相对复杂、采集装置体积较大，特别是sEMG传感器和数据手套在数据采集时需要穿戴，较大地影响了手语动作的自然性，致使实际应用受到很大限制。视频光学传感器具有体积小、重量轻，且能直观地刻画运动状态和运动轨迹等优点，因此在手语识别中被广泛使用。但是基于光学传感器，要实现一个精确、鲁棒的手语识别系统，存在受光照环境影响严重和计算成本较高等问题，尤其是在昏暗的光照条件下，分类的准确性会显著降低。

与光学传感器不同，雷达传感器可以在不同光照环境下正常工作，并可以在被完全遮挡或部分遮挡的情况下穿透遮挡物接收手语动作的回波信号，具有探测距离远、对微小动作敏感，以及尺寸小、重量轻、便携性好等优点。此外，雷达回波信号不会暴露用户的隐私，有助于保护用户的个人信息安全，这些优点使雷达传感器逐渐被应用在各种识别任务中。

在现有技术条件下，基于雷达微多普勒图像的手语识别研究可以分成两类，一类是基于深度学习技术的雷达微多普勒图像手语识别方法；另一类是基于经典的特征提取的雷达微多普勒图像手语识别方法。在基于深度学习技术的手语识别技术研究方面，2016年Kim Y 等人首次将微多普勒雷达用于手势动作的采集与识别，研究了利用深度卷积神经网络（Deep Convolutional Neural Network，DCNN）对探测得到的微多普勒图像进行手势识别的可行性。Zhang J 等人使用连续小波变换分析了雷达回波信号的频率成分，获得了时频谱图，并使用可变形卷积、缩放指数线性单元改进对抗生成网络，实现了手势分类。Sakamoto T等人提出了一种结合雷达回波I-Q 图和 CNN 的手势识别方法。2020 年，AhmedS等人从脉冲无线电超宽带(IR-UWB)雷达的回波信号中提取运动信息，使用基于Inception模块的DCNN进行了手势分类。

基于经典的特征提取的手语识别技术研究方面，2016年 Malysa G 等人使用调频连续波雷达，提出了基于隐马尔可夫模型的雷达手势识别方法，证明了使用FMCW雷达系统实现近程手势识别的可行性； L. Yang等人提出了一种基于双频雷达的稀疏感知动态手势分类方法，通过分析双波段雷达传感器采集到的稀疏微多普勒雷达信号，实现了动态手势的识别。2019年, M. G. Amin 等人提出了一种基于雷达微多普勒特征包络的手势识别方法，该方法分别检测微多普勒信号的正、负频率包络，然后形成增强的特征向量，可以获得较高的分类准确率。

综上所述，现有技术中已有的手语识别方法，存在着识别分类准确率低，同时计算复杂度高，占用内存资源大、不适合应用在计算能力有限的嵌入式识别装置中的明显问题。

发明内容

有鉴于此，本发明旨在提出一种基于方向密度特征的微多普勒图像手语感知识别方法，创造性的使用方向密度特征进行手语感知分类，相比于现有的手语识别方式，实现更高的分类准确度同时，具有计算复杂度低、占用内存资源少以及非常适用于计算能力有限的嵌入式识别装置的特点。

为达到上述目的，本发明的技术方案是这样实现的：

一种基于方向密度特征的微多普勒图像手语感知识别方法，包括如下步骤：

步骤1：信号预处理：使用雷达探测系统，采集若干种手语动作的雷达回波信号，经处理后得到手语动作回波信号的微多普勒图像；

步骤2：构建数据集：把得到的微多普勒图像，划分成训练集和测试集；

步骤3：方向密度带划分：把微多普勒图像中像素的方向角θ(x,y)的角度范围划分成N个相等角度范围，得到N个角度范围相等的方向密度带，N是正整数；

步骤4：像素梯度幅值和方向角计算：把每一张微多普勒图像划分成Z个k×k的图像块，计算每一个图像块中每个像素点(x, y)的梯度幅值G(x, y)和方向角θ(x,y)，根据方向角θ(x, y)的值，确定该像素点(x, y)落入到的对应角度范围的方向密度带，同一方向密度带内所有落入像素点(x, y)的梯度幅值G(x,y)求和后组合得到这个图像块N维的特征向量，再把所得到的Z个N维的特征向量拼接组合成方向密度特征向量；

步骤5：选定方向密度带组：在划分的N个方向密度带中选择M个方向密度带，并在步骤4中最终得到的方向密度特征向量中，提取M个方向密度带所对应的特征值拼接组成特征向量对分类器进行训练，M是大于等于1且小于N的正整数；

步骤6：新的雷达探测的手语微多普勒图像输入到训练完成的分类器，实现手语感知识别。

在步骤1中，手语动作回波信号的处理如下：

对采集得到的雷达回波信号，利用短时傅里叶变换STFT进行时频处理，得到雷达信号的时频谱图，对长度为T的离散时间信号x（n）进行STFT，

时频信号的能量S(t，f)由如下公式计算：

t=0, 1, … , T-1，是离散时间索引；T为信号的离散时间长度；f=0, 1, … ,F- 1，是离散频率索引；F为信号的离散频率长度；L是窗函数h( )的长度，用汉宁窗进行处理；m =0, 1, … ,L-1是离散窗长索引；相参累计时间长度为0.2s；滑动窗口长度为1.0s；j是虚数单位；再利用MATLAB的图像处理程序对时频谱图进行可视化，得到手语动作回波信号的微多普勒图像。

在步骤4中：每个像素点(x, y)的梯度幅值G(x, y)和方向角θ(x,y)计算方法如下：在每个图像块内，用梯度算子[−1,0,1]沿水平方向和垂直方向分别计算图像块内每个像素点(x, y)的水平梯度G _x (x, y)和垂直梯度G _y (x, y)，再由如下公式计算每个像素点(x, y)的梯度幅值G(x, y)和方向角θ(x, y)：

在步骤6中，分类器是k最近邻分类器KNN或支持向量机分类器SVM。

相对于现有技术，本发明所述的一种基于方向密度特征的微多普勒图像手语感知识别方法，具有以下优势：

1、本发明公开的基于方向密度特征的微多普勒图像手语感知识别方法，创造性的使用方向密度特征进行手语感知识别分类，具有较高的局部变化区分能力，实现了较高的手语识别分类准确度；

2、本发明公开的基于方向密度特征的微多普勒图像手语感知识别方法，计算复杂度低、占用内存资源少、非常适用于计算能力有限的嵌入式识别装置。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

在附图中：

图1为本发明实施例所述的一种基于方向密度特征的微多普勒图像手语感知识别方法流程示意图；

图2为本发明实施例所述的一种基于方向密度特征的微多普勒图像手语感知识别方法在N=10时只选取一个方向密度带的分类结果准确度示意图；

图3为本发明实施例所述的一种基于方向密度特征的微多普勒图像手语感知识别方法在N=12时只选取一个方向密度带的分类结果准确度示意图；

图4为本发明实施例所述的一种基于方向密度特征的微多普勒图像手语感知识别方法与现有分类方法准确度对比示意图；

图5为本发明实施例所述的一种基于方向密度特征的微多普勒图像手语感知识别方法选定不同方向密度带组分类结果准确度示意图；

图6为本发明实施例所述的一种基于方向密度特征的微多普勒图像手语感知识别方法使用不同分类器不同方向密度带组分类结果准确度示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。

下面将参考附图并结合实施例来详细说明本发明。

如图1所示，一种基于方向密度特征的微多普勒图像手语感知识别方法，包括如下步骤：

在步骤1中：雷达探测系统被布置在1.2米的平台上，将发射天线和接收天线布置在手语动作被试者的下方，用于接收手语动作的回波信号。

在本实施例中，雷达探测系统是雷达模块X4M300和一台笔记本计算机构成，X4M300模块的核心是Novelda超宽带脉冲雷达X4系统芯片，内置了单发、单收天线。雷达的工作频率为7.2 GHz到 10.2 GHz。

在步骤1中，手语动作回波信号的处理如下：

时频信号的能量S(t，f)由如下公式计算：

在步骤2中：选择15种手语动作以及10位被试者，每种动作由每位被试者重复10次，同一手语动作得到100张多普勒图像，15种手语动作共得到1500张微多普勒图像，随机挑选了75%的图像作为训练集，25%的图像作为测试集。

在本实施例中，15种手语动作分别是（1）爸爸，（2）妈妈，（3）男，（4）女，（5）结婚，（6）孩子，（7）喜欢，（8）爱，（9）高兴，（10）家，（11）是的，（12）不是，（13）你好，（14）你是聋哑人吗，（15）我正在学习手语。

在步骤3中：像素的方向角θ(x,y)的角度范围是0^o-180^o。

在本实施例中，在步骤3中，N=6，则6个方向密度带的范围可以表示为： 6DB₀= [0 ^o，30^o]，6DB₃₀= [30^o，60^o]，6DB₆₀= [60^o，90^o]，6DB₉₀ = [90^o，120^o]，6DB₁₂₀ = [120^o，150^o]和6DB₁₅₀= [150^o，180^o] ，这里的下标表示方向密度带的初始方向角。

在另一个实施例中，把每一张微多普勒图像划分成4个2×2的图像块。设置方向密度带数N=4，则4个方向密度带可以表示为：4DB₀ = [0^o，45^o]，4DB₄₅= [45^o，90^o]，4DB₉₀ =[90^o，135^o]，4DB₁₃₅ = [135^o，180^o]。对图像块内的像素点(x, y)进行方向角以及像素梯度幅值的计算，得到4个4维的特征向量，将这些特征向量拼接形成1×16的方向密度特征向量，进一步设置M=2，从1×16的方向密度特征向量中提取4DB₀和4DB₉₀方向密度带对应的特征值拼接组成1×8的特征向量用于训练分类器。

图2和图3分别给出了N=10和N=12时，仅使用一个方向密度带对15种手语数据集进行分类的结果，可以发现，仅使用一个方向密度带提取密度特征，15种手语动作的分类准确率最高可以达到85.07%，分类性能超过现有技术中已有的基于特征提取的对比分类方法。由此可见，手语动作的微多普勒图像在水平方向和垂直方向的特征具有较高的局部变化区分能力，本方法公开的基于方向密度特征的分类方式，分类效果显著。

如图2及图3所示，在准确率超过80%的方向密度带中分别选定4个方向密度带为方向密度带组（M=4），得到如图5所示的2个方向密度带组，最高的分类准确率可以达到92%，优于使用全部方向带的分类结果（85%左右）。这表明选择合适的且区分度高的方向密度带进行组合，能有效提升分类准确率。

如图6所示，进一步在选定方向密度带组（M=4）的基础上，配合使用不同的分类器，在本实施例中，KNN分类器有更好的分类效果。

如图4所示，本方法与现有技术中常见的4种基于特征提取的分类方法进行了对比，这四种基于特征提取的分类方法包括：Malysa G方法、Li G方法、M.G.Amin方法以及Y.Lu方法，对于6个示例手语动作，本方法的分类准确度都属于所有方法中最高的，证明了本方法在手语分类识别准确度方面具有显著的进步，同时本方法相比于其他方法具有计算复杂度低、占用内存资源少以及适合于计算能力有限的嵌入式识别装置的优点。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于方向密度特征的微多普勒图像手语感知识别方法，其特征在于：包括如下步骤：

步骤3：方向密度带划分：把微多普勒图像中像素的方向角θ (x,y)的角度范围划分成N个相等角度范围，得到N个角度范围相等的方向密度带，N是正整数；

2.根据权利要求1所述的一种基于方向密度特征的微多普勒图像手语感知识别方法，其特征在于：在步骤1中：雷达探测系统被布置在1.2米的平台上，将发射天线和接收天线布置在手语动作被试者的下方，用于接收手语动作的回波信号。

3.根据权利要求1所述的一种基于方向密度特征的微多普勒图像手语感知识别方法，其特征在于：在步骤1中，手语动作回波信号的处理如下：

对采集得到的雷达回波信号，利用短时傅里叶变换STFT进行时频处理，得到雷达信号的时频谱图，对长度为T的离散时间信号x（t）进行STFT，

时频信号的能量S(t，f)由如下公式计算：

t=0, 1, … , T-1，是离散时间索引；T为信号的离散时间长度；f=0, 1, … ,F-1，是离散频率索引；F为信号的离散频率长度；L是窗函数h( )的长度，用汉宁窗进行处理；m=0, 1, … ,L-1是离散窗长索引；相参累计时间长度为0.2s；滑动窗口长度为1.0s；j是虚数单位；

再利用MATLAB的图像处理程序对时频谱图进行可视化，得到手语动作回波信号的微多普勒图像。

4.根据权利要求1所述的一种基于方向密度特征的微多普勒图像手语感知识别方法，其特征在于：在步骤2中：选择15种手语动作以及10位被试者，每种动作由每位被试者重复10次，同一手语动作得到100张多普勒图像，15种手语动作共得到1500张微多普勒图像，随机挑选了75%的图像作为训练集，25%的图像作为测试集。

5.根据权利要求1所述的一种基于方向密度特征的微多普勒图像手语感知识别方法，其特征在于：在步骤3中：像素的方向角θ(x,y)的角度范围是0^o－180^o。

6.根据权利要求1所述的一种基于方向密度特征的微多普勒图像手语感知识别方法，其特征在于：在步骤4中：每个像素点(x, y)的梯度幅值G(x, y)和方向角θ(x,y)计算方法如下，在每个图像块内，用梯度算子[−1,0,1]沿水平方向和垂直方向分别计算图像块内每个像素点(x, y)的水平梯度G _x (x, y)和垂直梯度G _y (x, y)，再由如下公式计算每个像素点(x, y)的梯度幅值G(x, y)和方向角θ(x, y)。

7.根据权利要求1所述的一种基于方向密度特征的微多普勒图像手语感知识别方法，其特征在于：在步骤6中，分类器是k最近邻分类器KNN或支持向量机分类器SVM。