CN103116576A - 一种语音手势交互翻译装置及其控制方法 - Google Patents

Abstract

本发明公开了一种语音手势交互翻译装置及其控制方法，所述语音手势交互翻译装置包括手势翻译器和语音翻译器，手势翻译器和语音翻译器通信连接；手势翻译器获取第一用户的手势动作，与预存的手语数据进行匹配、输出该手势动作对应的词语信息，再转换为语音信号后进行播放；语音翻译器获取第二用户的语音信号，将所述语音信号转换为文字信息后与预存的手语数据进行匹配、生成该文字信息对应的手势动作，将手势动作按顺序进行显示。本发明通过第一用户使用手势翻译器将手语翻译成语音播出；第二用户使用语音翻译器将语音信号翻译成对应的手势动作进行显示，在听障人与健全人之间即可实现无障碍的交流沟通，使听障人能更好地融入正常人的社会生活。

Description

一种语音手势交互翻译装置及其控制方法

技术领域

本发明涉及传感器技术、识别技术领域，特别涉及一种语音手势交互翻译装置及其控制方法。

背景技术

手语是用手势比量动作，根据手势的变化模拟形象或者音节以构成一定意思或词语，其作为听力障碍的人（即聋哑人，以下简称为听障人）之间、听障人与健全人（即听、说能力正常的人）之间互相交流的一种手的语言，是听障人主要的交际工具。由于手语的动作较多且遵循一定的规则、需要经过系统的学习才能掌握，大多数健全人可能会理解少数手语的意思，或者完全不明白，因此听障人与健全人之间常出现交流不顺畅、甚至没有任何交流，势必会伤害听障人的感情，影响健全人与听障人的团结。

发明内容

鉴于上述现有技术的不足之处，本发明的目的在于提供一种语音手势交互翻译装置及其控制方法，以解决听障人与健全人之间的交流障碍问题。

为了达到上述目的，本发明采取了以下技术方案：

一种语音手势交互翻译装置，其特征在于，包括手势翻译器和语音翻译器；

所述手势翻译器，用于获取第一用户的手势动作，与预存的手语数据进行匹配、输出该手势动作对应的词语信息，转换为语音信号进行播放；

所述语音翻译器与所述手势翻译器通信连接，用于获取第二用户的语音信号，将所述语音信号转换为文字信息后与预存的手语数据进行匹配、生成该文字信息对应的手势动作，将手势动作按顺序进行显示。

所述的语音手势交互翻译装置，其中，所述手势翻译器包括：

手势传感器，用于感应第一用户手指的指式、动作和朝向，结合手与人体之间的相对位置生成相应的手势动作，并无线传输至第一处理器；

第一处理器，用于将接收的手势动作与预存的手语数据进行匹配，输出该手势动作对应的词语信息，将词语信息组合为语句信息后转换为语音信号输出；

语音播放模块，用于接收语音信号、将语音信号放大后播放；

所述手势传感器与第一处理器无线连接，所述第一处理器连接语音播放模块。

所述的语音手势交互翻译装置，其中，所述语音翻译器包括：

语音采集模块，用于获取第二用户的语音信号并传输；

第二处理器，用于将接收的第二用户的语音信号转换为文字信息、与预存的手语数据进行匹配、生成该文字信息对应的手势动作；

显示模块，用于获取手势动作并按手势动作生成的先后顺序逐一显示；

所述语音采集模块、第二处理器、显示模块依次连接。

所述的语音手势交互翻译装置，其中，所述手势传感器包括手套、距离传感器以及手势合成模块，所述手套、距离传感器分别连接手势合成模块；

所述手套上设置有多个加速度传感器且分别位于与手指关节相对应的位置、手背以及手心，用于感应第一用户手指的指式、动作和朝向；

所述距离传感器用于感应所述多个加速度传感器与人体之间的相对位置；

所述手势合成模块根据手指的指式、动作、朝向以及加速度传感器与人体之间的相对位置进行手势语识别，生成相应的手势动作，并无线传输至第一处理器。

所述的语音手势交互翻译装置，其中，所述手势翻译器还包括：

动作判断模块，用于根据第一用户输入的操作命令控制加速度传感器和距离传感器开始或停止感应；所述动作判断模块连接手套和距离传感器。

所述的语音手势交互翻译装置，其中，所述第一处理器还包括：

语句组合模块，用于将手势动作对应的词语信息根据预设的语句格式组合成语句信息。

一种语音手势交互翻译装置的控制方法，其包括：

A、手势翻译器获取第一用户的手势动作，与预存的手语数据进行匹配、输出该手势动作对应的词语信息，将词语信息转换为语音信号进行播放；

B、语音翻译器获取第二用户的语音信号，将所述语音信号转换为文字信息后与预存的手语数据进行匹配、生成该文字信息对应的手势动作，将手势动作按顺序进行显示。

所述的语音手势交互翻译装置的控制方法，其中，所述步骤A中，手势翻译器获取第一用户的手势动作具体包括：

A1、加速度传感器感应第一用户的手的指式、动作和朝向；

A2、距离传感器感应所述加速度传感器感与人体之间的相对位置；

A3、手势合成模块根据所述手指的指式、动作、朝向以及加速度传感器与人体之间的相对位置进行手势语识别，生成相应的手势动作。

所述的语音手势交互翻译装置的控制方法，其中，所述步骤A之前还包括：

A0：动作判断模块根据第一用户输入的操作命令控制加速度传感器和距离传感器开始感应。

相较于现有技术，本发明提供的一种语音手势交互翻译装置及其控制方法，通过手势翻译器获取听障人的手势动作，与预存的手语数据进行匹配、输出该手势动作对应的词语信息，再转换为语音信号后进行播放；通过语音翻译器获取健全人的语音信号，将所述语音信号转换为文字信息后与预存的手语数据进行匹配、生成该文字信息对应的手势动作，将手势动作按顺序在显示屏上进行显示，这样听障人的手语转换为相应的声音播放，健全人的语言转换为相应的手语展示，即可实现听障人与健全人之间无障碍交流。

附图说明

图1为本发明语音手势交互翻译装置的结构框图。

图2为本发明语音手势交互翻译装置的控制方法流程图。

具体实施方式

本发明提供一种语音手势交互翻译装置及其控制方法，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

请参阅图1，其为本发明语音手势交互翻译装置的结构框图，如图所示，其包括手势翻译器10和语音翻译器20。所述手势翻译器10获取第一用户的手势动作，与预存的手语数据进行匹配、输出该手势动作对应的词语信息，转换为语音信号进行播放。所述语音翻译器20与所述手势翻译器10通信连接，获取第二用户的语音信号，将所述语音信号转换为文字信息后与预存的手语数据进行匹配、生成该文字信息对应的手势动作，将手势动作按顺序进行显示。所述第一用户指听障人，佩戴手势翻译器10；所述第二用户指健全人，佩戴语音翻译器20。

手势翻译器10包括手势传感器、第一处理器和语音播放模块。所述第一处理器和语音播放模块可设置在一起，所述手势传感器独立于第一处理器和语音播放模块，与第一处理器无线连接。手势传感器将感应到的听障人的手指的指式、动作和朝向，结合手与人体之间的相对位置生成相应的手势动作，并无线传输至第一处理器，也可以通过蓝牙方式传输。其中，手势传感器包括手套、距离传感器以及手势合成模块。所述手套上设置有多个加速度传感器且分别位于与手指关节相对应的位置、手背以及手心处，可感应第一用户手指的指式、动作和朝向。所述加速度传感器为MEMS加速度传感器。听障人双手带上该手套后，由过感应手指运动过程中三轴方向的运动加速度，分析判断出手指及双手的运动轨迹、运动方向、运动行程，即可识别出听障人比划的手语。基于手语有多种姿势，有的会高举过头顶，有的会放在耳边，例如“对不起”的手语有点类似于敬礼。为了使感应到的手语动作更加准确，通过所述距离传感器感应所述多个加速度传感器与人体之间的相对位置，再通过手势合成模块将手指的指式、动作、朝向以及加速度传感器与人体之间的相对位置放在一起进行手势语识别，即可生成相应的更为准确的手势动作，然后无线或蓝牙传输至第一处理器。 为了判断听障人是否需要进行手语对话，将一些寻常动作，如握住扶手、喝水、搓手等与手语区分，避免加速度传感器的误判断，进一步地，所述手势翻译器还包括一动作判断模块，其连接手套和距离传感器，根据听障人输入的操作命令控制加速度传感器和距离传感器开始或停止感应。在具体实施时，所述动作判断模为设置在手套上的一轻触开关，例如设置在手腕附近，当听障人需要手语交流时，按下该轻触开关后即可启动加速度传感器和距离传感器使其工作。当一句话或一段话表示完后，再按一下轻触开关即可使加速度传感器和距离传感器停止工作，避免手势动作误感应。较佳地，所述轻触开关还包括一延时电路，用于当加速度传感器和距离传感器启动前，听障人有足够的时间使双手放在准备位置，以确保感应的手势动作的正确性。

所述第一处理器接收所述手势动作后与预存的手语数据进行匹配，输出该手势动作对应的词语信息。在第一处理器中设置一存储模块来预先存储一些目前常用的手语数据，即一个连续的手势动作表示什么意思，该意思对应一词语信息。基于目前不断出现一些网络新词汇，为了及时更新手语数据，进一步地，所述第一处理器还包括一USB接口，插入USB数据线后即可连接网络下载最新的手语数据。基于听障人之间为了简便，往往喜欢打自然手语，该自然手语文法欠顺，如“我聪明不是”、“我收到有”、“她漂亮很”等，为了理顺这些语句的意思，所述第一处理器还包括语句组合模块，针对意思较为简单的手语，如“我好很”，将表示该意思的手势动作对应的词语信息按照语言表达方式调整后输出“我很好”的语句信息。针对一长段话，将多个手势动作对应的词语信息根据预设的语句格式组合在一起，调整成一段意思清楚的语句信息。

第一处理器将语句信息转换为语音信号后输出至语音播放模块，语音信号经过放大后播放。在具体实施时，语音播放模块可采用一带音频放大电路的喇叭来播放语音信号。

当健全人听到所述语音播放模块放出的声音需要回应听障人时，通过语音翻译器20上的语音采集模块采集健全人的语音信号并传输至第二处理器中。语音采集模块可以为麦克风。第二处理器将接收到的语音信号转换为文字信息、与预存的手语数据进行匹配、生成该文字信息对应的手势动作。显示模块按手势动作生成的先后顺序逐一进行显示。在具体实施时，手势动作可以动画的形式在显示屏上显示。

为了确保语音采集的准确性，进一步地所述第二处理器还包括一定时器，通过该定时器来判断健全人所要表述的一段话是否完结。当健全人说完一句话3秒后，语音采集模块没有采集到任何语音信号，则默认为健全人的意思已经表述完毕，则第二处理器才对当前采集的语音信号进行转换，所显示的手势动作仅表示该一句话的内容。

基于上述语音手势交互翻译装置，本发明还提供一种语音手势交互翻译装置的控制方法，其包括步骤:

S10、手势翻译器获取第一用户的手势动作，与预存的手语数据进行匹配、输出该手势动作对应的词语信息，将词语信息转换为语音信号进行播放。

S20、语音翻译器获取第二用户的语音信号，将所述语音信号转换为文字信息后与预存的手语数据进行匹配、生成该文字信息对应的手势动作，将手势动作按顺序进行显示。

在所述步骤S10之前，需要判断是否需要获取第一用户的手势动作，其包括：动作判断模块根据第一用户输入的操作命令控制加速度传感器和距离传感器开始感应。

其中，所述步骤S10中，手势翻译器获取第一用户的手势动作具体包括：

步骤1、加速度传感器感应第一用户的手的指式、动作和朝向。

步骤2、距离传感器感应所述加速度传感器感与人体之间的相对位置。

步骤3、手势合成模块根据所述手指的指式、动作、朝向以及加速度传感器与人体之间的相对位置进行手势语识别，生成相应的手势动作。

第一用户（即听障人）与第二用户（即健全人）沟通时，通过手势翻译器即可将听障人的手语翻译成相应的文本、即词语信息，再将该词语信息转换为语音播出，相当于听障人说话表达其意思。当健全人回复谈话内容时，由语音翻译器将健全人说的话、即语音信号转换成相应的文本、即文字信息，再将该文字信息翻译成对应的手势动作在显示屏上显示出来，相当于“说”给听障人听，这样，无需改变用户原有的语言表达方式，也无需学习手语，在听障人与健全人之间即可实现无障碍的交流沟通，使听障人能更好地融入正常人的社会生活。 

可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及其发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。

Claims (9)

1.一种语音手势交互翻译装置，其特征在于，包括手势翻译器和语音翻译器；

所述手势翻译器，用于获取第一用户的手势动作，与预存的手语数据进行匹配、输出该手势动作对应的词语信息，转换为语音信号进行播放；

所述语音翻译器与所述手势翻译器通信连接，用于获取第二用户的语音信号，将所述语音信号转换为文字信息后与预存的手语数据进行匹配、生成该文字信息对应的手势动作，将手势动作按顺序进行显示。

2.根据权利要求1所述的语音手势交互翻译装置，其特征在于，所述手势翻译器包括：

手势传感器，用于感应第一用户手指的指式、动作和朝向，结合手与人体之间的相对位置生成相应的手势动作，并无线传输至第一处理器；

第一处理器，用于将接收的手势动作与预存的手语数据进行匹配，输出该手势动作对应的词语信息，将词语信息组合为语句信息后转换为语音信号输出；

语音播放模块，用于接收语音信号、将语音信号放大后播放；

所述手势传感器与第一处理器无线连接，所述第一处理器连接语音播放模块。

3.根据权利要求1所述的语音手势交互翻译装置，其特征在于，所述语音翻译器包括：

语音采集模块，用于获取第二用户的语音信号并传输；

第二处理器，用于将接收的第二用户的语音信号转换为文字信息、与预存的手语数据进行匹配、生成该文字信息对应的手势动作；

显示模块，用于获取手势动作并按手势动作生成的先后顺序逐一显示；

所述语音采集模块、第二处理器、显示模块依次连接。

4.根据权利要求2所述的语音手势交互翻译装置，其特征在于，所述手势传感器包括手套、距离传感器以及手势合成模块，所述手套、距离传感器分别连接手势合成模块；

所述手套上设置有多个加速度传感器且分别位于与手指关节相对应的位置、手背以及手心，用于感应第一用户手指的指式、动作和朝向；

所述距离传感器用于感应所述多个加速度传感器与人体之间的相对位置；

所述手势合成模块根据手指的指式、动作、朝向以及加速度传感器与人体之间的相对位置进行手势语识别，生成相应的手势动作，并无线传输至第一处理器。

5.根据权利要求4所述的语音手势交互翻译装置，其特征在于，所述手势翻译器还包括：

动作判断模块，用于根据第一用户输入的操作命令控制加速度传感器和距离传感器开始或停止感应；所述动作判断模块连接手套和距离传感器。

6.根据权利要求2所述的语音手势交互翻译装置，其特征在于，所述第一处理器还包括：

语句组合模块，用于将手势动作对应的词语信息根据预设的语句格式组合成语句信息。

7.一种语音手势交互翻译装置的控制方法，其特征在于，包括：

A、手势翻译器获取第一用户的手势动作，与预存的手语数据进行匹配、输出该手势动作对应的词语信息，将词语信息转换为语音信号进行播放；

B、语音翻译器获取第二用户的语音信号，将所述语音信号转换为文字信息后与预存的手语数据进行匹配、生成该文字信息对应的手势动作，将手势动作按顺序进行显示。

8.根据权利要求5所述的语音手势交互翻译装置的控制方法，其特征在于，所述步骤A中，手势翻译器获取第一用户的手势动作具体包括：

A1、加速度传感器感应第一用户的手的指式、动作和朝向；

A2、距离传感器感应所述加速度传感器感与人体之间的相对位置；

A3、手势合成模块根据所述手指的指式、动作、朝向以及加速度传感器与人体之间的相对位置进行手势语识别，生成相应的手势动作。

9.根据权利要求7所述的语音手势交互翻译装置的控制方法，其特征在于，所述步骤A之前还包括：

A0：动作判断模块根据第一用户输入的操作命令控制加速度传感器和距离传感器开始感应。

Images