CN109919127A - 一种哑语语言转换系统 - Google Patents

Abstract

本发明属于语言转换系统技术领域，具体的说是一种哑语语言转换系统，包括移动终端、声音录入模块、图像录入模块、声音输出模块、图像输出模块和交流记忆模块；图像录入模块包括图像采集单元、图像切片单元、图像对比单元、手势语数据库和图像筛选单元；本发明通过图像采集单元将聋哑人的手势语录入移动终端，经过图像切片单元将视频切片，使图像对比单元将图像切片与手势语数据库中的数据进行对比，再通过图像筛选单元将最贴切的数据反馈至转换系统后从声音输出模块输出，有助于使用者明白对方的手势语，以便做出回答或是提供帮助，有效解决了手势语无法理解，聋哑人与正常人无法交流的问题，促进社会和谐发展。

Description

一种哑语语言转换系统

技术领域

本发明属于语言转换系统技术领域，具体的说是一种哑语语言转换系统。

背景技术

哑语又叫手语：手语是由于聋人交际的需要而产生的，它已作为聋人的一种语言，逐渐为人们所接受。手语包括手指语和手势语。手指语是用手指的指式变化和动作代表字母，并按照拼音顺序依次拼出词语；在远古时代，全人类都处在简单的有声语言阶段，常常用手做各种姿势来表示意思，这样的手势大多数是指示性和形象性的动作，叫作自然手势，此后，随着社会的进步，特别是聋教育的产生与发展，开始创造出具有语言性质的手势，这种在有声语言和文字基础上产生的，与有声语言密切结合的手语，称之为人为手势。自然手势和人为手势结合成为手势语。哑语虽然能够完成掌握哑语的交流者之间的交流需要，但是在交流双方只有一方掌握哑语的情况下，如残疾人和正常人之间进行交流时，哑语难以被正常人了解，还是存在交流障碍。

现有技术中也出现了一种纺织印染废水处理系统，如申请号为201410324724的一项中国专利公开了是一种哑语转换语音系统，能够将哑语手势自动转换为语音输出，方便残疾人与正常人之间的交流。为此本发明采用的技术方案是，一种哑语转换语音系统，其特征在于，包括3D扫描设备、数据储存处理系统、语音合成模块三部分，该哑语转换语音系统通过3D扫描设备扫描人体骨骼，得到一段时间内的骨骼动作的扫描数据；数据储存处理系统将扫描数据与数据库中预存的骨骼动作的存储数据进行对比，当扫描数据与存储数据吻合时，将数据库中预存的存储数据所对应的含义发送至语音合成模块生成语音并播放。然而3D扫描设备较为复杂，成本较高，切不能随身携带，不便于使用，同时功能单调，难以满足聋哑人日常生活需求。

发明内容

为了弥补现有技术的不足，本发明提出的一种哑语语言转换系统。本发明主要用于保证聋哑人与常人也可以正常交流，有效聋哑人在日常生活中的社交范围，以及聋哑人的生活质量。

本发明解决其技术问题所采用的技术方案是：本发明所述的一种哑语语言转换系统，包括移动终端、声音录入模块、图像录入模块、声音输出模块、图像输出模块和交流记忆模块；所述移动终端用于将声音和图像分别录入声音录入模块和图像录入模块中进行处理；所述声音录入模块用于录入使用者周围环境中的声音并通过转换系统转化成哑语手势；所述图像录入模块用于录入聋哑人的手势语视频或多角度拍摄聋哑人的手势语，图像录入模块包括图像采集单元、图像切片单元、图像对比单元、手势语数据库和图像筛选单元；所述图像采集单元用于采集拍摄对象的手势语经过图像切片单元进行切片处理；所述图像对比单元用于将经过切片的图像在手势语数据库中进行对比；所述图像筛选单元用于在手势语数据库筛选出最符合该图像的手势语；所述声音输出模块用于将筛选出的手势语转化后的语音播出；所述图像输出模块用于将声音转化成的手势语在移动终端上显示；所述交流记忆模块用于记忆储存使用者和他人之间的交流信息；通过图像录入模块中的图像采集单元将聋哑人的手势语以视频或多角度拍摄照片的形式录入移动终端，经过图像切片单元将视频或者照片切片，分成多组对比文件，传输至图像对比单元，将多角度的图像切片通过图像对比单元和图像筛选单元与手势语数据库中的数据进行对比、筛选，利用排除法得到最确切的手势语的解释意思，经过转换系统转换成语音从声音输出模块输出，有助于使用者明白对方的手势语，以便做出回答或是提供帮助；通过移动终端即可方便解决手势语的理解，有效解决了手势语无法理解，聋哑人与正常人无法交流的问题，促进社会和谐发展。

优选的，所述声音录入模块包括声音采集单元、声音识别单元、声音对比单元和提醒预警单元；所述声音采集单元用于对周围环境的声音进行收集；所述声音识别单元用于将收集到的声音与声音数据库的声音进行对比和筛选；所述提醒预警单元用于将筛选出的声音对使用者进行提醒或预警；由于生活环境中身边充斥着各种声音，通过声音采集单元对周围环境的声音进行收集，并经过声音识别单元将这些声音与声音数据库的声音进行对比和筛选，将对比和筛选后的声音通过提醒预警模块单元以振动的形式进行预警，避免使用者因听不到危险提示声音而受到伤害，提高使用者的生命安全。

优选的，所述声音识别单元包括音色鉴别组件、音色标记记录组件和人员提醒组件；所述音色鉴别组件用于根据不同人的不同音色来区分声音主人的身份；所述音色标记记录组件用于将需要记录的声音进行标记记录，当下一次该声音的主人远距离喊叫使用者时，可以通过人员提醒组件提醒使用者喊叫自己的人的名字；通过声音识别单元的音色鉴别组件来区分不同人的不同音色，并通过音色标记记录组件记录该音色的主人，当下一次该音色主人与聋哑人说话时可通过人员提醒组件及时提醒聋哑人对其作出相应的回答，使得聋哑人快速捕捉到是谁在跟自己说话，进而有助于理解说话者的意思，同时，避免使用者因听不见忽略了该音色主人说的话，避免产生误会或是错过某件重要的事，导致不必要的损失。

优选的，所述声音识别单元还包括声音定向选取组件和噪声过滤组件；所述声音定向选取组件用于锁定说话者，声音定向选取组件包括摄像元件和音色识别元件；所述噪声过滤单元用于交流时对周围除交流人员以外的声音进行过滤；当使用者在与别人进行交流时，通过声音定向选取组件内的摄像元件拍摄说话者，并通过音色识别元件识别和标记其说话的音色，并通过噪声过滤组件对除周围除标记音色以外的其他声音进行过滤，使哑语转换系统只将该音色说出的话翻译转换成手势语呈献给聋哑人，避免了在与人交流的过程中，因环境较为嘈杂导致翻译不当或是无法翻译的情况，从而提高了聋哑人与正常人之间的交流的流畅度，有效拓宽聋哑人的社交圈，丰富聋哑人的生活，有效促进社会和谐发展。

优选的，所述声音采集单元包括包括情绪对比组件和语气对比组件；所述情绪对比组件用于判断说话声音中包含的情绪；所述语气对比组件用于判断说话声音中包含的语气；由于交流人员不同情绪和语气说出的话意思不同，容易使语言转换系统转换的手势语出现错误，影响交流，通过情绪对比组件对说话声音中包含的情绪进行判断，通过语气对比组件对说话声音中包含的语气进行判断，最终在转换出的手势语中包含当前说话者情绪和语气的手势，例：他现在比较着急或他比较生气，有助于使用者做出更准确的回答。

优选的，所述交流记忆模块包括备忘录单元、定时提醒单元和定期清理单元；所述备忘录单元用来记录交流过程中所提到的重要的日子、事件或者地名；所述定时提醒单元用于提醒使用者关于备忘录单元中记录的事情；所述定期清理单元用于将逾期的备忘录删除；由于聋哑人与正常人之间通过转换系统交流产生一定的误差，通过备忘录的形式可以记录使用者与他人之间的的对话，便于使用者在移动终端上随时查看，当发现哑语语言转换系统转换出错误的手势或者语音时，可及时与他人联系，减少错误事情的发生；同时备忘录单元可以将记录的日子、事件或者地名通过定时提醒单元以区别于预警提醒的振动频率对使用者发出提醒，避免错过备忘录记录的事情，提高使用者的生活质量；通过定期清理单元对已做过的备忘录进行删除，避免重复做同一件事，或是造成信息储存过多查找麻烦，影响生活质量。

本发明的有益效果如下：

1.本发明通过图像录入模块中的图像采集单元将聋哑人的手势语以视频或多角度拍摄照片的形式录入移动终端，经过图像切片单元将视频或者照片切片，分成多组对比文件，传输至图像对比单元，使图像对比单元将图像切片与手势语数据库中的数据进行对比，再通过图像筛选单元将最贴切的数据反馈至转换系统，经过转换系统转换成语音从声音输出模块输出，有助于使用者明白对方的手势语，以便做出回答或是提供帮助；通过移动终端即可方便解决手势语的理解，有效解决了手势语无法理解，聋哑人与正常人无法交流的问题，促进社会和谐发展。

2.本发明通过声音采集单元对周围环境的声音进行收集，并经过声音识别单元将这些声音与声音数据库的声音进行对比和筛选，将类似于鸣笛声、车铃声等危险提示声音以预警的方式对使用者进行播报，避免使用者因听不到危险提示声音而受到伤害，提高使用者的生命安全；将类似于朋友的呼喊或是其他人员的呼喊以提醒的方式让使用者及时知道，保证使用者正常的生活。

3.本发明通过声音识别单元的音色鉴别组件来区分不同人的不同音色，并通过音色标记记录组件记录该音色的主人，当下一次该音色主人与使用者说话时可通过人员提醒组件及时提醒使用者对其作出相应的回答，避免使用者因听不见忽略了该音色主人说的话，避免产生误会或是错过某件重要的事，导致不必要的损失。

附图说明

图1是本发明整体的结构框图；

图2是本发明声音识别单元的结构框图；

具体实施方式

使用图1至图2对本发明一实施方式的一种哑语语言转换系统进行如下说明。

如图1所示，本发明所述的一种哑语语言转换系统，包括移动终端、声音录入模块、图像录入模块、声音输出模块、图像输出模块和交流记忆模块；所述移动终端用于将声音和图像分别录入声音录入模块和图像录入模块中进行处理；所述声音录入模块用于录入使用者周围环境中的声音并通过转换系统转化成哑语手势；所述图像录入模块用于录入聋哑人的手势语视频或多角度拍摄聋哑人的手势语，图像录入模块包括图像采集单元、图像切片单元、图像对比单元、手势语数据库和图像筛选单元；所述图像采集单元用于采集拍摄对象的手势语经过图像切片单元进行切片处理；所述图像对比单元用于将经过切片的图像在手势语数据库中进行对比；所述图像筛选单元用于在手势语数据库筛选出最符合该图像的手势语；所述声音输出模块用于将筛选出的手势语转化后的语音播出；所述图像输出模块用于将声音转化成的手势语在移动终端上显示；所述交流记忆模块用于记忆储存使用者和他人之间的交流信息；通过图像录入模块中的图像采集单元将聋哑人的手势语以视频或多角度拍摄照片的形式录入移动终端，经过图像切片单元将视频或者照片切片，分成多组对比文件，传输至图像对比单元，将多角度的图像切片通过图像对比单元和图像筛选单元与手势语数据库中的数据进行对比、筛选，利用排除法得到最确切的手势语的解释意思，经过转换系统转换成语音从声音输出模块输出，有助于使用者明白对方的手势语，以便做出回答或是提供帮助；通过移动终端即可方便解决手势语的理解，有效解决了手势语无法理解，聋哑人与正常人无法交流的问题，促进社会和谐发展。

如图1所示，所述声音录入模块包括声音采集单元、声音识别单元、声音对比单元和提醒预警单元；所述声音采集单元用于对周围环境的声音进行收集；所述声音识别单元用于将收集到的声音与声音数据库的声音进行对比和筛选；所述提醒预警单元用于将筛选出的声音对使用者进行提醒或预警；由于生活环境中身边充斥着各种声音，通过声音采集单元对周围环境的声音进行收集，并经过声音识别单元将这些声音与声音数据库的声音进行对比和筛选，将对比和筛选后的声音通过提醒预警模块单元以振动的形式进行预警，避免使用者因听不到危险提示声音而受到伤害，提高使用者的生命安全。

如图2所示，所述声音识别单元包括音色鉴别组件、音色标记记录组件和人员提醒组件；所述音色鉴别组件用于根据不同人的不同音色来区分声音主人的身份；所述音色标记记录组件用于将需要记录的声音进行标记记录，当下一次该声音的主人远距离喊叫使用者时，可以通过人员提醒组件提醒使用者喊叫自己的人的名字；通过声音识别单元的音色鉴别组件来区分不同人的不同音色，并通过音色标记记录组件记录该音色的主人，当下一次该音色主人与聋哑人说话时可通过人员提醒组件及时提醒聋哑人对其作出相应的回答，使得聋哑人快速捕捉到是谁在跟自己说话，进而有助于理解说话者的意思，同时，避免使用者因听不见忽略了该音色主人说的话，避免产生误会或是错过某件重要的事，导致不必要的损失。

如图2所示，所述声音识别单元还包括声音定向选取组件和噪声过滤组件；所述声音定向选取组件用于锁定说话者，声音定向选取组件包括摄像元件和音色识别元件；所述噪声过滤单元用于交流时对周围除交流人员以外的声音进行过滤；当使用者在与别人进行交流时，通过声音定向选取组件内的摄像元件拍摄说话者，并通过音色识别元件识别和标记其说话的音色，并通过噪声过滤组件对除周围除标记音色以外的其他声音进行过滤，使哑语转换系统只将该音色说出的话翻译转换成手势语呈献给聋哑人，避免了在与人交流的过程中，因环境较为嘈杂导致翻译不当或是无法翻译的情况，从而提高了聋哑人与正常人之间的交流的流畅度，有效拓宽聋哑人的社交圈，丰富聋哑人的生活，有效促进社会和谐发展。

如图1所示，所述声音采集单元包括包括情绪对比组件和语气对比组件；所述情绪对比组件用于判断说话声音中包含的情绪；所述语气对比组件用于判断说话声音中包含的语气；由于交流人员不同情绪和语气说出的话意思不同，容易使语言转换系统转换的手势语出现错误，影响交流，通过情绪对比组件对说话声音中包含的情绪进行判断，通过语气对比组件对说话声音中包含的语气进行判断，最终在转换出的手势语中包含当前说话者情绪和语气的手势，例：他现在比较着急或他比较生气，有助于使用者做出更准确的回答。

如图1所示，所述交流记忆模块包括备忘录单元、定时提醒单元和定期清理单元；所述备忘录单元用来记录交流过程中所提到的重要的日子、事件或者地名；所述定时提醒单元用于提醒使用者关于备忘录单元中记录的事情；所述定期清理单元用于将逾期的备忘录删除；由于聋哑人与正常人之间通过转换系统交流产生一定的误差，通过备忘录的形式可以记录使用者与他人之间的的对话，便于使用者在移动终端上随时查看，当发现哑语语言转换系统转换出错误的手势或者语音时，可及时与他人联系，减少错误事情的发生；同时备忘录单元可以将记录的日子、事件或者地名通过定时提醒单元以区别于预警提醒的振动频率对使用者发出提醒，避免错过备忘录记录的事情，提高使用者的生活质量；通过定期清理单元对已做过的备忘录进行删除，避免重复做同一件事，或是造成信息储存过多查找麻烦，影响生活质量。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围。

Claims (6)

1.一种哑语语言转换系统，其特征在于：包括移动终端、声音录入模块、图像录入模块、声音输出模块、图像输出模块和交流记忆模块；所述移动终端用于将声音和图像分别录入声音录入模块和图像录入模块中进行处理；所述声音录入模块用于录入使用者周围环境中的声音并通过转换系统转化成哑语手势；所述图像录入模块用于录入聋哑人的手势语视频或多角度拍摄聋哑人的手势语，图像录入模块包括图像采集单元、图像切片单元、图像对比单元和图像筛选单元；所述图像采集单元用于采集拍摄对象的手势语经过图像切片单元进行切片处理；所述图像对比单元用于将经过切片的图像在手势语数据库中进行对比；所述图像筛选单元用于在手势语数据库筛选出最符合该图像的手势语；所述声音输出模块用于将筛选出的手势语转化后的语音播出；所述图像输出模块用于将声音转化成的手势语在移动终端上显示；所述交流记忆模块用于记忆储存使用者和他人之间的交流信息。

2.根据权利要求1所述的一种哑语语言转换系统，其特征在于：所述声音录入模块包括声音采集单元、声音识别单元、声音对比单元和提醒预警单元；所述声音采集单元用于对周围环境的声音进行收集；所述声音识别单元用于将收集到的声音与声音数据库的声音进行对比和筛选；所述提醒预警单元用于将筛选出的声音对使用者进行提醒或预警。

3.根据权利要求2所述的一种哑语语言转换系统，其特征在于：所述声音识别单元包括音色鉴别组件、音色标记记录组件和人员提醒组件；所述音色鉴别组件用于根据不同人的不同音色来区分声音主人的身份；所述音色标记记录组件用于将需要记录的声音进行标记记录，当下一次该声音的主人远距离喊叫使用者时，可以通过人员提醒组件提醒使用者喊叫自己的人的名字。

4.根据权利要求3所述的一种哑语语言转换系统，其特征在于：所述声音识别单元还包括声音定向选取组件和噪声过滤组件；所述声音定向选取组件用于锁定说话者，声音定向选取组件包括摄像元件和音色识别元件；所述噪声过滤单元用于交流时对周围除交流人员以外的声音进行过滤。

5.根据权利要求2所述的一种哑语语言转换系统，其特征在于：所述声音采集单元包括包括情绪对比组件和语气对比组件；所述情绪对比组件用于判断说话声音中包含的情绪；所述语气对比组件用于判断说话声音中包含的语气。

6.根据权利要求1所述的一种哑语语言转换系统，其特征在于：所述交流记忆模块包括备忘录单元、定时提醒单元和定期清理单元；所述备忘录单元用来记录交流过程中所提到的重要的日子、事件或者地名；所述定时提醒单元用于提醒使用者关于备忘录单元中记录的事情；所述定期清理单元用于将逾期的备忘录删除。