CN105118356A - 一种手语语音转换方法及装置 - Google Patents

Abstract

本发明提出一种手语语音转换装置，包括显示器、手环、指环及控制器，所述显示器内安装有用于接收语音的话筒和将语音转换为文字的语音文字翻译芯片；所述手环上设置有扬声器；手语者表达时控制器接收距离检测器检测的距离值，并将数据库中预存的手语动作距离值与对应的拼音音节匹配，然后控制扬声器发声；当发音者表达时，控制器控制显示器显示语音文字翻译芯片转换得到的文字信息。本发明以双拼掌语为基础，结合电磁波距离识别技术，精确检测手语动作中手腕、手指及人体距离，实现手语到语音的准确转化；整个装置对硬件要求低，适合生产推广；且对于数据的建立相对容易，无需包含成千上万个繁冗复杂的手语动作，易于实现。

Description

一种手语语音转换方法及装置

技术领域

本发明属于手语翻译领域，尤其涉及一种手语到语音的转换装置及方法。

背景技术

据统计我国现有聋人人口2057万，手语是他们表达思想、进行交际的主要工具。手语对聋哑人来说是最熟悉不过的事情，但是对于普通人来说，更像是一门外语。在国内，如上海，会手语人数不超过1万人，普及率不到千分之一。较低的手语普及率极大地阻碍了听障人和健全人的有效沟通。因此，设计出一种能让聋哑人和普通人进行语言沟通的工具十分必要。

由于我国地域辽阔，存在众多的地方手语，给聋人之间交流带来了不便。双拼掌语以汉语拼音为基础，手语动作简单，易于掌握，非常适合推广应用。双拼掌语，以掌语人假定的四个屋角为参照系，两手掌伸向不同的方位表达一个字音，两手掌弯曲配合也可表达一个字音，两次手语动作表达一个字音，字母动作清楚，对聋哑人手指灵活度的要求较低。例如声母b的动作为：左手掌指向对面的前上方，右手掌指向对面的前上方；韵母a的动作为左手掌指向对面的前上方，右手掌抱胸。两个动作配合即为ba的发音。再配以声调，去声动作左掌屈、右掌屈，即准确无误的表达“爸”。

若通过仪器识别双拼掌语的每一个动作，并将其转换为语音，则可以实现聋哑人与普通人的直接语音交流。

发明内容

本发明针对现有技术中缺少聋哑人与普通人直接语音交流设备的技术问题，提出一种硬件要求低，数据库易于建立，能够实现聋哑人与普通人交流任意语句的手语语音转换装置及方法。

为了达到上述目的，本发明采用的技术方案为：

一种手语语音转换装置，包括显示器、手环、指环及控制器，所述显示器内安装有用于接收语音的话筒和将语音转换为文字的语音文字翻译芯片；所述手环上设置有扬声器；所述指环上设置有切换按钮，所述切换按钮包括切换两个由相同动作表达的不同拼音音节的shift按钮和从多个待选项中选择目标值的选定按钮；所述显示器、手环及指环内均安装有距离检测器，所述距离检测器包括信号收发器及距离转化芯片；所述控制器与显示器、距离检测器、扬声器通信连接，手语者表达时控制器接收距离检测器检测的距离值，并将数据库中预存的手语动作距离值与对应的拼音音节匹配，然后控制扬声器发声；当语音者表达时，控制器控制显示器显示语音文字翻译芯片得到的文字信息。

作为优选，所述显示器为包括眼镜架和显示屏的头戴式显示器，所述控制器安装在眼镜架一侧。

作为优选，所述距离检测器为TICC2541集成芯片，所述信号收发器为射频收发器。

作为优选，所述眼镜架上设置有控制转换装置开启和关闭的系统开关。

作为优选，所述指环由软质材料制成，所述手环上设置有存放置换的指环槽。

本发明还提出一种手语语音转换方法，通过以下步骤实现手语到语音的转换，a、分别检测双手手指到手腕和手指到头部的距离，将目标距离值传输给控制器；b、控制器将距离值与数据库中的拼音音标进行匹配，获取目标音标后显示在显示屏上；c、扬声器播放手语动作所对应的词语读音。

作为优选，还包括语音到文字的转换过程，话筒收集语音者的语音经语音文字翻译芯片转化为文字，显示在显示屏上。

作为优选，初次运行步骤a前还包括初始化过程，按下切换按钮一定时间后，按照提示完成指定动作，控制器获取指定动作对应的距离值并存储。

作为优选，所述步骤b与步骤c之间还包括b1，当数据库匹配获得不止一个音标，则通过选定按钮选择正确音标。

与现有技术相比，本发明的优点和积极效果在于：

本发明以双拼掌语为基础，结合电磁波距离识别技术，精确检测手语动作中手腕、手指及人体距离，实现手语到语音的准确转化；整个装置对硬件要求低，适合生产推广；且对于数据的建立相对容易，只需包含拼音音标、声调及数字等对应的基本手语动作即可，无需包含成千上万个繁冗复杂的手语动作，易于实现。

附图说明

图1为本发明手语语音转换装置的控制结构示意图；

图2为本发明手语语音转换装置的结构示意图；

图3为本发明手语语音转换方法的流程图；

以上各图中：1、显示器；11、显示屏；12、眼镜架；2、左手环；3、右手环；4、左指环；5、右指环。

具体实施方式

为了更好的理解本发明，下面结合附图和实施例做具体说明。

发明人仔细研究了双拼掌语的每一个动作，发现双拼掌语所有动作表达仅靠小臂和手掌的指向及手掌伸屈变化即可完成所有语句表达，不同动作之间手腕距人体的距离及手指距人体的具体各不相同。结合电磁波距离识别技术，可以实现手语动作与拼音音标的一一对应，手语到语音的转化准确。且对于数据的建立相对容易，只需包含拼音音标、声调及数字等对应的基本手语动作即可，无需包含成千上万个繁冗复杂的手语动作。

实施例一：如图1、图2所示，一种手语语音转换装置，包括显示器1、手环、指环及控制器，指环包括左指环4和右指环5，手环包括左手环2和右手环3。所述显示器显示手语者(聋哑人)表达的音标，及将语音者的话语转化得到的文字展示给手语者。为方便手语者观看，显示器选用包括眼镜架和小型显示屏的头戴式显示器，所述控制器安装在眼镜架一侧。此类显示器目前已有多家公司研制成功，如谷歌公司生产的谷歌眼镜。

距离检测器用于检测手语者手语时，手指到手腕及手指到显示屏的距离，并传输给控制器。距离检测器采用TICC2541集成芯片，其中包括射频收发器，射频收发器包括发射器和接收器。CC2541模块的测距实现原理为，发射器发射射频信号，信号强度随着距离的增加而减少，接收器接受到信号，每组收发器之间的之间距离的大小以RSSI值得形式展现出来。同时根据公式，可以测算出一组收发器之间的实际距离。射频收发器包括四组，分别为检测右手手指到人体距离的第一收发器、检测右手手指到右手手腕距离的第二收发器、检测左手手指到人体距离的第三收发器及检测左手手指到左手手腕距离的第四收发器。四组收发器置于手环和指环以及眼镜架内。

所述语音文字翻译芯片设置在眼镜框一侧，话语者(普通人)的语音经话筒收集后由语音文字翻译模块通过芯片中的本地语音识别或使用讯飞、百度语音等语音识别软件，转换为文字并传输给控制器；

所述切换按钮包括shift按钮和选定按钮，shift按钮位于右手指环上，用于切换两个由相同动作表达的不同拼音音节；选定按钮位于左手指环上，用于从多个待选项中选择目标值；

所述控制器与显示器、距离检测器、扬声器通信连接。手语者表达时控制器接收距离检测器检测的距离值，并将数据库中预存的手语动作距离值与对应的拼音音节匹配，然后控制扬声器发声；当发音者表达时，控制器控制显示器显示语音文字翻译芯片转换得到的文字信息。通过此手语语音转换装置可以将手语者的手语动作准确翻译为语音，也可将语音者的话语翻译为文字展示给手语者，实现聋哑人与普通人的有效交流。

所述眼镜架上设置有系统开关，控制装置的开启和关闭，需要属于表达时，拨动开关开启系统，避免将一些寻常动作，如握住扶手、喝水等动作误认为是手语动作。

为使指环合适不同的人佩戴，所述左指环和右指环由弹性橡胶制成。所述左右手环上均设置有指环槽，不使用时可将指环放置在指环槽内。

实施例二：基于实施例一所述的手语语音转换装置，本发明还提供一种手语语音转换方法，通过该方法不仅可以实现手语者所做手语到语音的转换，也可将语音者说的语音转换为文字展示给手语者，实现手语者到语音者的正常交流。

如图1至图3所示，手语者使用本装置时，将指环戴在手指前端，手环戴在手腕上，并带上头戴式显示器。

由于每个人的手臂长度及手掌长度不同，初次使用该装置前还包括初始化过程：打开系统开关后，同时按下shift按钮和选定按钮10s后，显示屏指示手语者做出指定动作，控制器获取音标对应的距离值并存储。

当手语者想向语音者表达语句时，按下系统开关，启动系统。手语者做出生母、韵母及声调动作，此时接收器接收发射器的电磁波，经距离检测器分析后将目标距离值传输给控制器。此后控制器将距离值与数据库中的拼音音标进行匹配，获取目标音标后显示在显示屏上。最后声母、韵母及声调为一组形成一个读音，经扬声器发音。CC2541模块射频收发器收发频率为每秒钟10次左右，由于人的习惯，做完一个动作会稍有停顿，那么目标动作的停留时间比中间动作更长，所检测到的距离值的次数较多，系统默认在一秒内获得距离值(如37cm)7次以上为目标动作距离值(37cm)，且采用取整算法，将目标动作距离值左右的小数归为整数值记录。由于人为表达错误或动作停顿，系统在一个动作表达结束后可能获取了两个目标值，则会在显示屏中给出相对应的选项，用户可以通过选定按钮进行选择。

当语音者向手语者表达时，只需正常讲话，话筒收集语音者的语音经语音文翻译芯片转化为文字，显示在显示屏上。

通过以上过程即完成了手语者与语音者的交流，交谈完毕后关闭系统开关。

以发明人自身为例，拼音音标、手语动作、检测距离及shift按钮操作对应表如下：

其中，shift按钮中“Y”指按下shift按钮，“/”指不按shift按钮。实验表明，通过本方法可以有效的将手语转换为手语者想表达的语音。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例应用于其它领域，但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (9)

1.一种手语语音转换装置，其特征在于：包括显示器、手环、指环及控制器，所述显示器内安装有用于接收语音的话筒和将语音转换为文字的语音文字翻译芯片；

所述手环上设置有扬声器；所述指环上设置有切换按钮，所述切换按钮包括切换两个由相同动作表达的不同拼音音节的shift按钮和从多个待选项中选择目标值的选定按钮；

所述显示器、手环及指环内均安装有距离检测器，所述距离检测器包括信号收发器及距离转化芯片；

所述控制器与显示器、距离检测器、扬声器通信连接，手语者表达时控制器接收距离检测器检测的距离值，并将数据库中预存的手语动作距离值与对应的拼音音节匹配，然后控制扬声器发声；当语音者表达时，控制器控制显示器显示语音文字翻译芯片得到的文字信息。

2.根据权利要求1所述的手语语音转换装置，其特征在于：所述显示器为包括眼镜架和显示屏的头戴式显示器，所述控制器安装在眼镜架一侧。

3.根据权利要求2所述的手语语音转换装置，其特征在于：所述距离检测器为TICC2541集成芯片，所述信号收发器为射频收发器。

4.根据权利要求3所述的手语语音转换装置，其特征在于：所述眼镜架上设置有控制转换装置开启和关闭的系统开关。

5.根据权利要求4所述的手语语音转换装置，其特征在于：所述指环由软质材料制成，所述手环上设置有存放指环的指环槽。

6.一种手语语音转换方法，其特征在于：通过以下步骤实现手语到语音的转换，

a、分别检测双手手指到手腕和手指到头部的距离，将目标距离值传输给控制器；

b、控制器将距离值与数据库中的拼音音标进行匹配，获取目标音标后显示在显示屏上；

c、扬声器播放手语动作所对应的词语读音。

7.根据权利要求6所述的手语语音转换方法，其特征在于：还包括语音到文字的转换过程，话筒收集语音者的语音经语音文字翻译芯片转化为文字，显示在显示屏上。

8.根据权利要求7所述的手语语音转换方法，其特征在于：初次运行步骤a前还包括初始化过程，按下切换按钮一定时间后，按照提示完成指定动作，控制器获取指定动作对应的距离值并存储。

9.根据权利要求8所述的手语语音转换方法，其特征在于：所述步骤b与步骤c之间还包括b1，当数据库匹配获得不止一个音标时，则通过选定按钮选择正确音标。