CN104980599A - 一种手语语音通话方法及系统 - Google Patents

Abstract

本发明提供一种手语语音通话方法及系统。所述手语语音通话方法包括：手势采集装置采集手势运动信息得到手势模拟信号，并将所述手势模拟信号发送到手势信号处理装置；手势信号处理装置对所述手势模拟信号进行处理，获取与所述手势模拟信号对应的手势信号；根据手语数据库将所述手势信号转换成对应的语音播放。所述手语语音通话方法还包括：获取语音信息，根据手语数据库将所述语音信息转换成对应的手语运动轨迹并通过显示部件播放所述手语运动轨迹。本发明的技术方案能够实现聋哑人和正常人之间的语音交流。

Description

一种手语语音通话方法及系统

技术领域

本发明涉及一种通信技术，特别是涉及一种手语语音通话方法及系统。

背景技术

手语是由于聋人交际的需要而产生的，它已作为聋人的一种语言，逐渐为人们所接受。手语包括手指语和手势语。手指语是用手指的指式变化和动作代表字母，并按照拼音顺序依次拼出词语；在远古时代，全人类都处在简单的有声语言阶段，常常用手做各种姿势来表示意思，这样的手势大多数是指示性和形象性的动作，叫作自然手势，此后，随着社会的进步，特别是聋教育的产生与发展，开始创造出具有语言性质的手势，这种在有声语言和文字基础上产生的，与有声语言密切结合的手语，称之为人为手势。自然手势和人为手势结合成为手势语。一般人无法读懂手语，使得聋哑人很难与正常人进行顺畅的沟通或交流，造成许多生活上的不便。而手机等移动终端的普及使得通过技术创新实现聋哑人与正常人顺畅沟通成为可能。

鉴于此，如何找到一种方便聋哑人与正常人进行顺畅沟通的手语语音通话方法及系统成为了本领域技术人员亟待解决的问题。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种手语语音通话方法及系统，用于解决现有技术中聋哑人与正常人很难进行顺畅沟通的问题。

为实现上述目的及其他相关目的，本发明提供一种手语语音通话方法，所述手语语音通话方法包括：手势采集装置采集手势运动信息得到手势模拟信号，并将所述手势模拟信号发送到手势信号处理装置；手势信号处理装置对所述手势模拟信号进行处理，获取与所述手势模拟信号对应的手势信号；根据手语数据库将所述手势信号转换成对应的语音播放。

可选地，所述手势采集装置包括六个三轴加速度传感器，所述六个三轴加速度传感器分别佩戴于五个手指上；所述手势信号处理装置包括一个手势信号处理识别手环，所述手势信号处理设备手环佩戴在手背上。

可选地，在移动终端上根据手语数据库将所述手势信号转换成对应的语音播放。

可选地，所述手势采集装置通过蓝牙与手势信号处理装置通信，所述手势信号处理装置通过蓝牙与移动终端通信。

可选地，所述手语语音通话方法还包括：将所述手势信号处理成手语运动轨迹，并通过显示部件播放。

可选地，所述手语语音通话方法还包括：获取语音信息，根据手语数据库将所述语音信息转换成对应的手语运动轨迹并通过显示部件播放所述手语运动轨迹。

可选地，所述手语运动轨迹包括手指语或者手势语。

可选地，所述移动终端包括手机。

本发明还提供一种手语语音通话系统，所述手语语音通话系统包括：手势采集装置，用于采集手势运动信息，得到手势信号；手势信号处理装置，与所述手势采集装置相连，用于从所述手势信号采集装置获取到所述手势信号，对所述手势信号进行处理，获取与所述手势信号对应的手语运动轨迹；手语语音转换模块，与所述手势信号处理装置相连，用于根据手语数据库将所述手势信号转换成对应的语音播放。

可选地，所述手势采集装置包括六个三轴加速度传感器，所述六个三轴加速度传感器分别佩戴于五个手指上；所述手势信号处理装置包括一个手势信号处理识别手环，所述手势信号处理设备手环佩戴在手背上。

可选地，所述手势采集装置通过蓝牙与手势信号处理装置通信，所述手势信号处理装置通过蓝牙与手语语音转换模块通信。

可选地，对所述手势模拟信号进行处理包括：对手势模拟信号进行模拟信号/数字信号转换，活动窗口自动检测、平滑滤波、归一化处理，进行信号重采样，特征提取，手势动作识别得到手势信号。

可选地，所述手势信号处理装置还用于：将所述手势信号通过显示部件播放。

可选地，所述手语语音通话系统还包括：语音手语转换模块，用于获取语音信息，根据手语数据库将所述语音信息转换成对应的手语运动轨迹并通过显示部件播放所述手语运动轨迹。

可选地，所述手语语音转换模块设置于移动终端中。

可选地，所述语音手语转换模块设置于移动终端中。

可选地，所述移动终端包括手机。

如上所述，本发明的一种手语语音通话方法及系统，具有以下有益效果：本发明能够实现聋哑人和正常人之间的语音交流。同时，还具有以下优点：1，易于部署；充分利用已有的成熟蓝牙传输技术，信号接受技术。2，易于使用；对用户来讲，使用方便实用性高。3，配件的方式使用不影响手机；卖手机时自带的配件，不影响手机使用。4，沟通方便实时性比文字输入的高，方便一些不认识字的聋哑人交流。

附图说明

图1显示为本发明的一种手语语音通话方法的一实施例的流程示意图。

图2显示为本发明的一种手语语音通话系统的一实施例的模块示意图。

图3显示为本发明的一种手语语音通话系统的一实施例的手势采集装置示意图。

图4显示为本发明的一种手语语音通话系统的一实施例的手势采集装置结构示意图。

图5显示为本发明的一种手语语音通话系统的一实施例的手势采集原理示意图。

图6显示为本发明的一种手语语音通话系统的一实施例的通信原理示意图。

图7显示为本发明的一种手语语音通话系统的一实施例的工作流程示意图。

元件标号说明

1                      手语语音通话系统

11                     手势采集装置

12                     手势信号处理装置

13                     手语语音转换模块

S1～S3                 步骤

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。

需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

本发明提供一种手语语音通话方法。在一个实施例中，如图1所示，所述手语语音通话方法包括：

步骤S1，手势采集装置采集手势运动信息，得到手势模拟信号，并将所述手势模拟信号发送到手势信号处理装置。在一个实施例中，所述手势采集装置包括六个三轴加速度传感器。所述六个三轴加速度传感器分别佩戴于五个手指与手背上。

步骤S2，手势信号处理装置对所述手势模拟信号进行处理，获取与所述手势模拟信号对应的手势信号。所述手势信号处理装置包括一个手势信号处理识别手环，所述六个三轴加速度传感器将各自采集到的手势模拟信号发送给手势信号处理识别手环，手势信号处理识别手环对所述手势模拟信号处理得到手势信号。对所述手势模拟信号进行处理包括：对手势模拟信号进行模拟信号/数字信号转换，活动窗口自动检测、平滑滤波、归一化处理，进行信号重采样，特征提取，手势动作识别得到手势信号。处理中所应用的相关原理包括：1，活动窗口自动检测：通常用户做出某种手势动作后，会停顿较短的时间再做下一个动作，利用此特点可利用六个三轴加速度传感器在连续的加速度数据流中检测可能包含手势动作的数据段。2，平滑滤波与归一化：手势加速度信号主要为低频信号，要求加速度传感器有较高的灵敏度。加速度信号在激励、检测和传输过程中会不同程度地受到随机噪声的污染，同时，手的抖动也会引入噪声，因此，必须对手势加速度信号进行滤波去噪，以滤除干扰噪声。由于人的手势动作幅度不固定，不同人做出指定姿势动作的幅度和速度不同，因此通过对采集到的手势动作加速度数据进行归一化处理，可以大大消除加速度信号幅度的差异对识别结果的影响，从而简化识别过程，降低识别难度。3，信号重采样：由于手势动作产生的加速度信号是等间隔采样，相同的手势动作如果完成快，则采样的数据点较少；反之，如果动作完成速度慢，则采样的数据点较多。信号重采样能使以不同速度完成的手势动作的数据长度相同。对手势信号特征提取时，可以综合考虑三轴加速度信号，每轴提取一维特征，共得到三维特征。将从六个加速度传感器中采集到手势模拟信号通过上述处理后，再使用训练好的隐马尔可夫模型识别输入的姿势，在手势信号处理识别手环中得到手势信号。所述智能设备包括移动终端，所述移动终端包括手机。在一个实施例中，人体佩戴的手势采集装置采集得到手势信号后，通过蓝牙(包括蓝牙接收器与蓝牙发射器)将所述手势信号发送到智能设备。

步骤S3，根据手语数据库将所述手语运动轨迹转换成对应的语音播放。在一个实施例中，手语数据库(也可称为手势数据库)中存储了各种手语运动轨迹与对应的语言含义，通过手语数据库可以将各种手语运动轨迹翻译成相应的语言表达，将所翻译的语言表达通过语音播放。该功能可以通过专门的应用软件实现。在一个实施例中，所述手语语音通话方法还包括：获取语音信息，根据手语数据库将所述语音信息转换成对应的手语运动轨迹并通过显示部件播放所述手语运动轨迹。这样，就可以通过手势采集装置获取手语，并转换(翻译)成语音播放，让正常人了解聋哑人所希望表达的意思；同时，还可以通过获取语音，并转换(翻译)成手语(手语运动轨迹)显示播放，让聋哑人观看，明白正常人所表达的意思。大大方便了正常人与聋哑人的沟通与交流。在一个实施例中，所述手语语音通话方法还包括：将所述手势信号转换成手语运动轨迹，并通过显示部件播放。在实际使用中，佩戴该手势采集装置的用户可以通过观看显示部件播放的手语运动轨迹来修正所要表达的手语。所述手语包括手指语或手势语。

本发明还提供一种手语语音通话系统。在一个实施例中，如图2所示，所述手语语音通话系统1包括手势采集装置11、手势信号处理装置12以及手语语音转换模块13。其中：

手势采集装置11用于通过人体佩戴的手势采集装置采集得到手势信号。在一个实施例中，手势采集装置11包括六个三轴加速度传感器，所述六个三轴加速度传感器分别佩戴于五个手指与手背上。

手势信号处理装置12与所述手势采集装置11相连，用于从所述手势采集装置获取到所述手势信号，对所述手势信号进行处理，获取与所述手势信号对应的手语运动轨迹。在一个实施例中，所述手势信号处理装置12包括一个手势信号处理识别手环。所述六个三轴加速度传感器将各自采集到的手势模拟信号通过蓝牙技术(或其他技术)发送给手势信号处理识别手环，手势信号处理识别手环对所述手势模拟信号处理得到手势信号。手势信号处理装置12对所述手势模拟信号进行处理包括：对手势模拟信号进行模拟信号/数字信号转换，活动窗口自动检测、平滑滤波、归一化处理，进行信号重采样，特征提取，手势动作识别得到手势信号。所利用的相关原理包括：1，活动窗口自动检测：通常用户做出某种手势动作后，会停顿较短的时间再做下一个动作，利用此特点可利用六个三轴加速度传感器在连续的加速度数据流中检测可能包含手势动作的数据段。2，平滑滤波与归一化：手势加速度信号主要为低频信号，要求加速度传感器有较高的灵敏度。加速度信号在激励、检测和传输过程中会不同程度地受到随机噪声的污染，同时，手的抖动也会引入噪声，因此，必须对手势加速度信号进行滤波去噪，以滤除干扰噪声。由于人的手势动作幅度不固定，不同人做出指定姿势动作的幅度和速度不同，因此通过对采集到的手势动作加速度数据进行归一化处理，可以大大消除加速度信号幅度的差异对识别结果的影响，从而简化识别过程，降低识别难度。3，信号重采样：由于手势动作产生的加速度信号是等间隔采样，相同的手势动作如果完成快，则采样的数据点较少；反之，如果动作完成速度慢，则采样的数据点较多。信号重采样能使以不同速度完成的手势动作的数据长度相同。对手势信号特征提取时，可以综合考虑三轴加速度信号，每轴提取一维特征，共得到三维特征。将从六个加速度传感器中采集到手势模拟信号通过上述处理后，再使用训练好的隐马尔可夫模型识别输入的姿势，在手势信号处理识别手环中得到手势信号。在一个实施例中，手势信号处理装置12通过人体佩戴的手势信号处理识别手环得到手势信号后，通过蓝牙(包括蓝牙接收器与蓝牙发射器)或其他无线通信技术模块将所述手势信号发送到手语语音转换模块13。

手语语音转换模块13与所述手势信号处理装置12相连，用于根据手语数据库将所述手语运动轨迹转换成对应的语音播放。在一个实施例中，所述手语语音转换模块设置于移动终端，所述移动终端包括手机。手语数据库(也可称为手势数据库)中存储了各种手语运动轨迹与对应的语言含义，通过手语数据库可以将各种手语运动轨迹翻译成相应的语言表达，将所翻译的语言表达通过语音播放。该功能可以通过专门的应用软件实现。在一个实施例中，所述手语语音通话系统还包括语音手语转换模块：所述语音手语转换模块用于获取语音信息，根据手语数据库将所述语音信息转换成对应的手语运动轨迹并通过显示部件播放所述手语运动轨迹。这样，手语语音通话系统1就可以通过手势采集装置11以及手势信号处理模块12获取手语，并转换(翻译)成语音播放，让正常人了解聋哑人所希望表达的意思；同时，还可以通过获取语音，并转换(翻译)成手语(手语运动轨迹)显示播放，让聋哑人观看，明白正常人所表达的意思。大大方便了正常人与聋哑人的沟通与交流。在一个实施例中，手势信号处理装置12通过蓝牙发射器或其他无线通信技术将所述手势信号发送给手语语音转换模块13，手语语音转换模块13通过蓝牙接收器或其他无线通信技术接收所述手势信号。在一个实施例中，所述手语语音转换模块13位于智能设备中，所述智能设备包括移动终端，所述移动终端包括手机。在一个实施例中，所述手语语音转换模块13还用于：将所述手势信号转换成手语运动轨迹通过显示部件播放。在实际使用中，佩戴该手势采集装置的用户可以通过观看显示部件播放的手语运动轨迹来修正所要表达的手语。所述手语包括手指语或手势语。

在一个实施例中，如图3所示，手势采集装置11的手势采集装置包括六个三轴加速度传感器(X1-X6)，所述六个三轴加速度传感器分别佩戴于五个手指与手背上。所述六个三轴加速度传感器将采集到的信号发送给手势信号处理装置12的手势信号处理识别手环(X7)。佩戴于手指上的三轴加速度传感器如图4所示。对所述手势采集装置的采集的手势模拟信号的处理主要在手势信号处理识别手环(X7)完成。图5中显示了手势信号处理装置12对手势模拟信号的处理过程，包括：将六个三轴加速度传感器采集的手势模拟信号进行模拟信号/数字信号转换；通过活动窗口自动检测、平滑滤波、归一化处理后，进行信号重采样以及特征提取。在手势信号处理识别手环中进行手势动作识别。最终将手势动作识别得到的手势信号通过信号无线传输模块(蓝牙接收器和蓝牙发射器)发送给位于移动终端(比如手机)上的手语语音转换模块13。

在一个实施例中，如图6所示，所述手语语音转换模块13以及语音手语转换模块都位于移动通信终端，并通过一个应用程序(聋哑通话APK)来实现。移动通信终端用于接收所述信号处理模块输出的聋哑人的双手运动轨迹信号，还原聋哑人的手语运动轨迹，并对所还原的聋哑人的手语运动轨迹进行实时同步重现。移动通信终端中植入手语数据库，将接受到的手语对比数据库后通过语音播放。手势信号处理装置12将手势信号从手势信号处理识别手环(X7)发送给移动通信终端，所述手势信号处理识别手环(X7)与移动通信终端间的通信采用蓝牙技术，可以通过信号无线传输模块(蓝牙接收器和蓝牙发送器)来实现。应用程序(聋哑通话APK)包括手势数据库(即手语数据库)、语音播放、语音录制(用于将语音传送后转换或将语音转换后传送)以及视频展示手势。通过语音录制可以实现聋哑通话在包括手语语音通话系统功能的移动终端与其他移动终端的实现，大大扩展了手语语音通话系统的应用范围。在一个实施例中，所述手语语音通话系统1的使用流程如图7所示。手势信号处理识别手环(X7)通过蓝牙连接到移动终端(手机)，手机打开聋哑通话APK。聋哑人发动手势，聋哑人佩戴的六个三轴加速度传感器(X1-X6)将手势模拟信号发送到一个手势信号处理识别手环(X7)，X7将模拟信号进行处理得到手势信号，X7通过蓝牙将得到的手势信号传送给手机。手机通过蓝牙接收手势信号，将接收到的手势信号和聋哑APK中的手势数据库进行对比，将手势信号转换成相应的语音，并通过聋哑通话APK输出语音。聋哑通话APK获取语音，通过聋哑通话APK的录制语音功能，进行语音录制，获取到通话人的语音。对录制的语音对比查找手势数据库将语音转换成为手势(手语运动轨迹)，并通过聋哑通话APK的视频展示功能将手势输出给聋哑人观看。

综上所述，本发明的一种手语语音通话方法及系统能够实现聋哑人和正常人之间的语音交流。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种手语语音通话方法，其特征在于，所述手语语音通话方法包括：

手势采集装置采集手势运动信息，得到手势模拟信号，并将所述手势模拟信号发送到手势信号处理装置；

手势信号处理装置对所述手势模拟信号进行处理，获取与所述手势模拟信号对应的手势信号；

根据手语数据库将所述手势信号转换成对应的语音播放。

2.根据权利要求1所述的手语语音通话方法，其特征在于：所述手势采集装置通过蓝牙将所述手势信号发送到手势信号处理装置。

3.根据权利要求1所述的手语语音通话方法，其特征在于：所述手语语音通话方法还包括：将所述手势信号处理成手语运动轨迹，并通过显示部件播放。

4.根据权利要求1所述的手语语音通话方法，其特征在于：所述手语语音通话方法还包括：获取语音信息，根据手语数据库将所述语音信息转换成对应的手语运动轨迹并通过显示部件播放所述手语运动轨迹。

5.一种手语语音通话系统，其特征在于：所述手语语音通话系统包括：

手势采集装置，用于采集手势运动信息，得到手势模拟信号；

手势信号处理装置，与所述手势采集装置相连，用于从所述手势采集装置获取到所述手势模拟信号，对所述手势模拟信号进行处理，获取与所述手势模拟信号对应的手势信号；

手语语音转换模块，与所述手势信号处理装置相连，用于根据手语数据库将所述手势信号转换成对应的语音播放。

6.根据权利要求5所述的手语语音通话系统，其特征在于：所述手势采集装置包括六个三轴加速度传感器，所述六个三轴加速度传感器分别佩戴于五个手指上；所述手势信号处理装置包括一个手势信号处理识别手环，所述手势信号处理设备手环佩戴在手背上。

7.根据权利要求5所述的手语语音通话系统，其特征在于：所述手势采集装置通过蓝牙与手势信号处理装置通信，所述手势信号处理装置通过蓝牙与手语语音转换模块通信。

8.根据权利要求5所述的手语语音通话系统，其特征在于：对所述手势模拟信号进行处理包括：对手势模拟信号进行模拟信号/数字信号转换，活动窗口自动检测、平滑滤波、归一化处理，进行信号重采样，特征提取，手势动作识别得到手势信号。

9.根据权利要求5所述的手语语音通话系统，其特征在于：所述手势信号处理装置还用于：将所述手势信号通过显示部件播放。

10.根据权利要求5所述的手语语音通话系统，其特征在于：所述手语语音通话系统还包括：语音手语转换模块，用于获取语音信息，根据手语数据库将所述语音信息转换成对应的手语运动轨迹并通过显示部件播放所述手语运动轨迹。