CN110286774A - 一种基于手腕运动传感器的手语识别方法 - Google Patents

Abstract

本发明公开了一种基于手腕运动传感器的手语识别方法，包括：步骤1，数据收集：通过具有运动传感器的手腕设备，在手部运动时持续收集手部运动的传感器数据；步骤2，数据切分：将数据收集步骤收集的传感器数据切分处理为多段传感器数据，其中，每段传感器数据对应一段完整的手语句子；步骤3，数据预处理：将数据切分后得到的多段传感器数据用短时傅里叶变换处理转化为时频图，并过滤去除时频图的高频部分得到去除噪声的时频图；步骤4，手语动作识别：将去除噪声的时频图输入到预训练的神经网络中进行端到端的预测识别出手语动作，并根据识别出的手语动作输出对应的文字。该方法能实时、准确的识别出手语动作，输出对应的翻译结果。

Description

一种基于手腕运动传感器的手语识别方法

技术领域

本发明涉及人机交互和移动应用领域，尤其涉及一种基于手腕运动传感器的手语识别方法。

背景技术

手语是由一系列手部动作、位置来表达意义的，专门为听力障碍人群所设计、使用的自治自洽的自然语言。根据中国残疾人联合会的报告，2010年末，我国残疾人总人数8502万人，其中有2054万人深受听力障碍所困扰。然而，手语使用者和普通口语使用者之间存在着巨大的沟通障碍，手语很难被普通口语使用者所理解，而由于读唇术的困难，手语使用者也难以理解口语，这在许多日常生活的场景中，如社交活动、学术会议等，给听力障碍者的正常沟通交流带来巨大的困难。

现有的手语识别方法主要可以分为两种：基于图像的方法和基于传感器的方法。基于图像的方法通常使用一个普通波段的摄像头或者红外线深度摄像头，它们都需要良好的光线环境，因而不方便部署，另外还要求手语者直面摄像头，这是非常不符合使用场景的，手语者需要表达自己的意愿的时候还需要别人持着摄像头对着自己。而基于传感器的方法，通常使用一个传感器手套(如Dataglove和CyberGloves的方案)，这种设备都比较笨重，给使用者带来额外的负担。上面提到的这些方法都从连续的图像或者传感器数据中提取特定的特征，然后利用机器学习或者模式识别的技术来进行手语识别；它们之中大多使用了隐马尔可夫模型来进行连续手语的上下文建模；这些传统的方法严重依赖于对原始数据的理解和在语言领域的专家知识。直接把这些方法应用到只有手腕处运动信息的加速度计和陀螺仪数据处理上是不合适的、难以达到有效的识别。

发明内容

基于现有技术所存在的问题，本发明的目的是提供一种基于手腕运动传感器的手语识别方法，能实时、准确的识别出手语动作，输出对应的翻译结果，很好的解决如何简单进行手腕动作手部的问题。

本发明的目的是通过以下技术方案实现的：

本发明实施例提供一种基于手腕运动传感器的手语识别方法，包括：

步骤1，数据收集：通过具有运动传感器的手腕设备，在手部运动时持续收集手部运动的传感器数据；

步骤2，数据切分：将所述数据收集步骤收集的传感器数据切分处理为多段传感器数据，其中，每段传感器数据对应一段完整的手语句子；

步骤3，数据预处理：将所述数据切分后得到的多段传感器数据用短时傅里叶变换处理转化为时频图，并过滤去除所述时频图的高频部分得到去除噪声的时频图；

步骤4，手语动作识别：将所述去除噪声的时频图输入到预训练的神经网络中进行端到端的预测识别出手语动作，并根据识别出的手语动作输出对应的文字。

由上述本发明提供的技术方案可以看出，本发明实施例提供的基于手腕运动传感器的手语识别方法，其有益效果为：

基于腕部运动传感器及具有一定计算能力的移动计算设备，通过采用手部运动时的传感器数据，进行处理后识别出的手语动作。所用设备廉价且易获得，其识别正确率高，对于已知用户，词错误率低至1.03％，对于陌生用户，此错误率为10.7％。同时本发明方法可以在移动计算设备上实现接近实时的翻译能力，对于长度为11个单词的手语句子，推断时间仅为0.12秒。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的基于手腕运动传感器的手语识别方法的流程图；

图2为本发明实施例提供的识别方法的工作流程图；

图3为本发明实施例提供的识别方法中人工循环神经网络模型的构成示意图；

图4为本发明实施例提供的识别方法中连续动作切分效果示意图。

具体实施方式

下面结合本发明的具体内容，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

如图1所示，本发明实施例提供一种基于手腕运动传感器的手语识别方法，包括：

步骤1，数据收集：通过具有运动传感器的手腕设备，在手部运动时持续收集手部运动的传感器数据；

步骤2，数据切分：将所述数据收集的传感器数据切分处理为多段传感器数据，其中，每段传感器数据对应一段完整的手语句子；

步骤3，数据预处理：将所述数据切分后得到的多段传感器数据用短时傅里叶变换处理转化为时频图，并过滤去除所述时频图的高频部分得到去除噪声的时频图；

步骤4，手语动作识别：将所述去除噪声的时频图输入到预训练的神经网络中进行端到端的预测识别出手语动作，并根据识别出的手语动作输出对应的文字。

上述方法在步骤4之后还包括：步骤5，按对应文字输出的步骤：按识别出的文字对应输出语音和/或指令。

上述方法步骤1中，手腕设备具有的运动传感器包括：加速度传感器和陀螺仪。

上述方法步骤1中，利用突发信号检测实时检测手部是否运动，若是，则收集运动传感器的传感器数据。

上述方法步骤2中，所述数据收集的传感器数据切分处理的方式如下：

获取所述数据收集步骤收集的传感器数据的长度T，并设定阈值为r和窗口大小为W；

计算每一时刻的传感器数据的幅值Mt为：计算幅值Mt的一阶差分Dt为：D_t＝M_t-M_{t-1},以设定的窗口大小W，计算滑动标准差，根据滑动标准差来衡量动作的强度Vt为：V_t＝Var(D_{t…t+w}).比较动作的强度Vt与所述阈值r，若动作的强度Vt大于该阈值r，则判定有动作发生，并截取出强度大于阈值r的一段数据作为切分出的传感器数据。

上述数据切分对应算法的伪代码如下：

上述方法步骤3中，将所述数据切分后得到的多段传感器数据用短时傅里叶变换处理转化为时频图中，短时傅里叶变换处理为：

上式中，x(k)表示一帧数据中，时-频转换后第k个频带的频谱值，N表示一帧的大小，S表示采样率，表示该帧中第m个读数。

如图3所示，上述方法步骤4中的预训练的神经网络为具有四层的神经网络，其中两层为双向长短时记忆层，一层为单向长短时记忆层、一层为全连接层；该神经网络模型中由一个连接主义时间分类函数作为损失函数进行训练；

对所述神经网络预训练的样本为指定用户的手语句子和手语句子对应的文字。

本发明的使用将使得如下应用场景成为现实：在目前智能手表和智能手环的广泛应用，且大部分智能手表和智能手环，都集成了能即时计算的处理器，配备了微电子机械系统加速度计和陀螺仪的背景下，通过这两种传感器就足以捕捉手腕处的运动信息。用户可以在手腕处携带一个带有运算能力的嵌入式设备，设备上同时携带加速度计和陀螺仪以及蓝牙通信模块，然后直接做手语动作，设备捕捉下的加速度计和陀螺仪的数据经过神经网络的处理，直接生成对应的文字、语音、指令等。该方式可以为听力障碍者提供更为方便的翻译方案，听力障碍者想要表达自己意思的时候，只需要戴上一个小型的嵌入式设备即可。

下面对本发明实施例具体作进一步地详细描述。

本发明实施例的基于手腕运动传感器的手语识别方法，是一个基于手腕加速度计、陀螺仪和人工循环神经网络的手语识别方法，通过人工循环神经网络对加速度计和陀螺仪数据的理解，进而把手语动作直接翻译成对应的文字和语音。本发明的手语识别方法，应用场景为手语者需要表达自己的意愿时，在手腕戴上一个低功耗传感器设备，并做连续的手语，连续手语被识别成一个句子。该发方法括以下步骤：

步骤1，神经网络的预训练。一个四层的神经网络，由两层双向LSTM，一层单向LSTM(长短时记忆，Long-Short Term Memory)与一层的全连接层组成。这个神经网络由一个CTC(连接主义时间分类)函数作为损失函数进行训练。训练的样本是指定用户的手语句子和句子对应的文字。

步骤2，数据收集：智能手表或手环等手腕设备，通过手部运动带动传感器，利用突发信号检测实时检测手部是否运动，作为手语动作的检测。当用户持续实施手语动作超过一定时间阈值(比如说1秒)时，设备开始记录加速度、陀螺仪的数据，并融合加速度计和陀螺仪实时计算线性加速度和重力加速度的值。

步骤3，数据动态截取：要实现连续的接近实时的手语识别，必须将用户连续输入的手语动作切分成若干相对完整的句子，为此本发明提出以下切分算法动作对手语动作的传感器数据进行切分：

上述切分算法对三个连续输入的手语句子进行切分的效果，如图4所示，可以很好地进行句子的切分。

步骤4，数据预处理：将切分后的传感器数据使用短时傅里叶变换(STFT)算法转化为时频图。时频图的高频部分被过滤以抑制噪声。短时傅里叶变换STFT算法的原理如下：

上式中，x(k)表示一帧数据中，时-频转换后第k个频带的频谱值，N表示一帧的大小，S表示采样率，表示该帧中第m个读数；

步骤5，神经网络识别：处理过的时频图输入到预训练的神经网络中进行端到端的预测，并最终输出对应的文字；

步骤6，文字转语音：文字经过成熟的TTS(文字转录语音Text-to-Speech)技术，最终输出为语音。

本发明基于腕部运动传感器及具有一定计算能力的移动计算设备，廉价，易获得，其识别正确率高，对于已知用户，词错误率低至1.03％，对于陌生用户，此错误率为10.7％。同时本发明方法可以在移动计算设备上实现接近实时的翻译能力，对于长度为11个单词的手语句子，推断时间仅为0.12秒。

本实施例的手语识别方法应用时，需要用户在手腕佩戴一个带有运动传感器和一定运算能力的手腕设备，比如智能手表、智能手环等。

能实现以下几种典型应用方式：

(1)手语翻译：

在该场景下，该系统实施具体包括以下几个步骤：

(11)神经网络的预训练：先收集好特定用户在实施手语句子时的传感器数据，并进行标注，使用该数据集训练由多层LSTM网络及CTC Loss构成的人工循环神经网络模型；

(12)数据收集：通过手部运动带动传感器，检测用户是否在做手语动作，并进行收集和切分；

(13)数据预处理：将数据通过STFT算法转化为时频数据；

(14)神经网络计算：处理过的时频数据输入到预训练的神经网络中进行端到端的预测，并最终输出对应的文字；

(15)文字转语音：文字经过TTS(文字转录语音Text-to-Speech)技术，最终输出为语音。

(2)手势控制：

在该场景中，通过佩戴的嵌入式设备收集用户的手势动作信息，而识别模型可以运行在通过蓝牙连接的手机上，也可以运行在计算力足够的智能手环/手表上。在该场景下，该系统有以下的几个步骤:

(21)神经网络预训练；收集用户标注过的动作数据，训练人工循环神经网络模型；

(22)数据收集；通过佩戴的运动传感器判断用户是否在做动作，如果动作开始，则进行收集和切分；

(23)数据预处理；将数据通过STFT算法转化为时频数据；

(24)神经网络计算：处理过的时频数据输入到预训练的神经网络中进行的识别，并得到识别的动作类型；所述动作类型指的是预定义的若干可识别的手势，模型识别出的是该手势类型的标识，该标识可以用于文字、语音输出，也可以用于对设备的控制等各种用途。

(25)设备控制；将得到的动作类型转化为相应控制指令，或转化为设备输入信息。

本领域普通技术人员可以理解：实现上述实施例方法中的全部或部分流程是可以通过程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (7)

1.一种基于手腕运动传感器的手语识别方法，其特征在于，包括：

步骤1，数据收集：通过具有运动传感器的手腕设备，在手部运动时持续收集手部运动的传感器数据；

步骤2，数据切分：将所述数据收集步骤收集的传感器数据切分处理为多段传感器数据，其中，每段传感器数据对应一段完整的手语句子；

步骤3，数据预处理：将所述数据切分后得到的多段传感器数据用短时傅里叶变换处理转化为时频图，并过滤去除所述时频图的高频部分得到去除噪声的时频图；

步骤4，手语动作识别：将所述去除噪声的时频图输入到预训练的神经网络中进行端到端的预测识别出手语动作，并根据识别出的手语动作输出对应的文字。

2.根据权利要求1所述的基于手腕运动传感器的手语识别方法，其特征在于，所述方法的步骤4后还包括：

步骤5，按对应文字输出的步骤：按识别出的文字输出为对应的语音和/或指令。

3.根据权利要求1或2所述的基于手腕运动传感器的手语识别方法，其特征在于，所述方法步骤1中，手腕设备具有的运动传感器包括：加速度传感器和陀螺仪。

4.根据权利要求1或2所述的基于手腕运动传感器的手语识别方法，其特征在于，所述方法步骤1中，利用突发信号检测实时检测手部是否运动，若是，则收集运动传感器的传感器数据。

5.根据权利要求1或2所述的基于手腕运动传感器的手语识别方法，其特征在于，所述方法步骤2中，所述数据收集步骤收集的传感器数据切分处理的方式如下：

获取所述数据收集步骤收集的传感器数据的长度T，并设定动作切分阈值为r和滑动窗口大小为W；

计算每一时刻的传感器数据的幅值Mt为：计算幅值Mt的一阶差分Dt为：D_t＝M_t-M_{t-1},以设定的窗口大小W，计算滑动标准差，根据滑动标准差来衡量动作的强度Vt为：V_t＝Var(D_{t…t+w}).比较动作的强度Vt与所述阈值r，若动作的强度Vt大于该阈值r，则判定有动作发生，并截取出强度大于阈值r的一段数据作为切分出的传感器数据。

6.根据权利要求1或2所述的基于手腕运动传感器的手语识别方法，其特征在于，所述方法步骤3中，将所述数据切分后得到的多段传感器数据用短时傅里叶变换处理转化为时频图中，短时傅里叶变换处理为：

上式中，x(k)表示一帧数据中，时-频转换后第k个频带的频谱值，N表示一帧的大小，S表示采样率，表示该帧中第m个读数。

7.根据权利要求1或2所述的基于手腕运动传感器的手语识别方法，其特征在于，所述方法步骤4中的预训练的神经网络为：

具有四层的神经网络模型，其中两层为双向长短时记忆层，一层为单向长短时记忆层、一层为全连接层；该神经网络模型中由一个连接主义时间分类函数作为损失函数进行训练；

对所述神经网络预训练的样本为指定用户的手语句子和手语句子对应的文字。