CN111462594A - 一种基于自然拼读的穿戴式手语翻译装置 - Google Patents

一种基于自然拼读的穿戴式手语翻译装置 Download PDF

Info

Publication number
CN111462594A
CN111462594A CN202010325317.8A CN202010325317A CN111462594A CN 111462594 A CN111462594 A CN 111462594A CN 202010325317 A CN202010325317 A CN 202010325317A CN 111462594 A CN111462594 A CN 111462594A
Authority
CN
China
Prior art keywords
module
glove
sensor
hand
sign language
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010325317.8A
Other languages
English (en)
Other versions
CN111462594B (zh
Inventor
谢俐
何勇
秦蒙
任照富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Electric Power College
Original Assignee
Chongqing Electric Power College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Electric Power College filed Critical Chongqing Electric Power College
Priority to CN202010325317.8A priority Critical patent/CN111462594B/zh
Publication of CN111462594A publication Critical patent/CN111462594A/zh
Application granted granted Critical
Publication of CN111462594B publication Critical patent/CN111462594B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/04—Devices for conversing with the deaf-blind

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种基于自然拼读的穿戴式手语翻译装置，包括可穿戴手套和设置在可穿戴手套上的传感器模块、控制模块、语音模块和电源模块；所述传感器模块与所述控制模块通信连接，传感器模块用于检测所述可穿戴手套的手语动作并生成相应的检测信号发送给所述控制模块，所述传感器模块包括弯曲传感器、光敏传感器和加速度传感器；所述控制模块用于接收所述传感器模块传输的检测信号，并发出对应的控制信号；所述电源模块与所述控制模块连接用于给整个装置供电；所述语音模块与所述控制模块连接，所述语音模块根据所述控制模块发出的控制信号合成当前手语动作对应的语音信号并进行实时播放，以实现任何手语的实时翻译。

Description

一种基于自然拼读的穿戴式手语翻译装置
技术领域
本发明涉及手语翻译装置技术领域，特别是涉及一种基于自然拼读的穿戴式手语翻译装置。
背景技术
手语是用手势比划动作，根据手势的变化模拟形象或者音节以构成一定的意思或词语，它是听力障碍或者无法言语的人互相交际和交流思想的一种手的语言，它是“有声语言的重要辅助工具”，对于听力障碍的人来说，它则是主要的交际工具。在实际生活中，绝大多数人仅能看懂少数形象的手语，能真正看懂得手语的普通人并不多，这成为了普通人和听障人士交流的一大障碍。
目前现有的手语翻译的装置，大多是通过自建词汇库，基于词汇库中特定的手语词汇进行翻译，一旦遇到未收录进词汇库中的词汇，系统将无能为力，且对于自建的词汇库中的词汇设置特定的手语手势，使得使用者在使用这些翻译装置进行翻译时需要重新学习特定的手语手势，存在着使用不便、翻译不及时、不准确等诸多问题。
发明内容
本发明要解决的技术问题是提供一种翻译及时、便捷、准确的基于自然拼读的穿戴式手语翻译装置。
为解决上述问题，本发明提供一种基于自然拼读的穿戴式手语翻译装置，包括可穿戴手套和设置在所述可穿戴手套上的传感器模块、控制模块和语音模块，所述可穿戴手套包括右手手套和左手手套；
所述传感器模块与所述控制模块通信连接，所述传感器模块用于检测所述可穿戴手套的手语动作并生成相应的检测信号发送给所述控制模块，所述传感器模块包括右手传感器模块和左手传感器模块，所述右手传感器模块用于检测右手手套的手语动作，所述左手传感器模块用于检测左手手套的手语动作；
所述右手传感器模块安装在右手手套上，所述右手传感器模块包括弯曲传感器、光敏传感器和第一加速度传感器，所述弯曲传感器用于检测手指的弯曲程度，所述光敏传感器用于检测手指被遮挡程度，所述第一加速度传感器用于检测所述右手手套的对地角度；
所述左手传感器模块安装在所述左手手套上，所述左手传感器模块包括第二加速度传感器，所述第二加速度传感器用于检测左手手套的对地角度；
所述控制模块用于接收所述传感器模块传输的检测信号，并向所述语音模块发出对应的控制信号；
所述语音模块与所述控制模块连接，所述语音模块根据所述控制模块发出的控制信号对当前的传感器模块识别到的手语动作进行处理，以合成当前手语动作对应的语音信号并进行实时播放；
所述电源模块与所述控制模块连接，所述电源模块用于给整个手语翻译装置供电。
进一步的，所述语音模块包括依次连接的语音合成模块和语音播报模块，所述语音合成模块将当前手语动作转化并合成对应的语音信号后发送给所述语音播报模块进行实时播放。
进一步的，所述弯曲传感器的数量为五个，五个所述弯曲传感器分别设置在所述右手手套的五个手指上。
进一步的，所述光敏传感器的数量为三个，三个所述光敏传感器分别设置在所述右手手套的大拇指手心一侧、食指手背一侧和食指上靠近中指的一侧。
进一步的，所述第一加速度传感器设置在所述右手手套的手背上。
进一步的，所述第二加速度传感器设置在所述左手手套的手背上。
进一步的，所述控制模块、语音模块和电源模块集成在柔性电路板上，该柔性电路板设置在所述右手手套或左手手套上。
本发明的有益效果：
1.通过在右手手套上设置弯曲传感器检测手指的弯曲程度、通过加速度传感器检测右手手套的对地角度和光敏传感器检测个别手指的被遮挡程度，根据手势生成对应的检测信号，每个检测信号对应特定的字母，字母对应的手势采用GB24435-2009中汉语手指字母图规定的字母手语手势，使用者不用重新进行手语手势的学习，上手容易、使用简单；
2.通过在左手手套上设置加速度传感器，作为翻译的开始和结束的标志，同时根据左手掌心的朝向来确定当前拼音的声调，使翻译更加准确；
3.通过设置语音模块，基于自然拼读的方式将传感器模块识别到的字母和声调组合得到汉语拼音，然后进行实时播放，实现对地名、人名等非标准手语词汇的翻译和播放，不受翻译文字内容的限制，翻译准确、高效，使听障人士与普通人之间能够正常沟通。
附图说明
图1是本发明一种基于自然拼读的穿戴式手语翻译装置的较佳的实施方式的系统框图。
图2是图1所示手语翻译装置的可穿戴手套的手心结构示意图。
图3是图1所示手语翻译装置的可穿戴手套的手背结构示意图。
具体实施方式
下面结合附图对本发明作进一步说明。
在本发明的描述中，除非另有规定和限定，需要说明的是，术语“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
如图1-3所示，是本发明一种基于自然拼读的穿戴式手语翻译装置的较佳的实施方式的系统框图和结构示意图，包括可穿戴手套和设置在所述可穿戴手套上的传感器模块10、控制模块20、语音模块30和电源模块40；所述传感器模块10与所述控制模块20通信连接，所述传感器模块10用于检测所述可穿戴手套的手语动作并生成相应的检测信号发送给所述控制模块20；所述控制模块20用于接收所述传感器模块10传输的检测信号，并向所述语音模块30发出对应的控制信号，以控制所述语音模块30对所述传感器模块10检测到的手语动作进行处理；所述语音模块30与所述控制模块20连接，所述语音模块30根据所述控制模块20发出的控制信号对当前的手语动作进行处理，以合成当前手语动作对应的语音信号并进行朗读；所述电源模块40与所述控制模块20连接，所述电源模块40用于给整个手语翻译装置供电。所述可穿戴手套包括右手手套1和左手手套2，所述右手手套1用于用于检测、识别右手手语动作，并生成对应的字母；所述左手手套2用于检测、识别左手的动作，并据此进行汉语拼音的声调处理，同时也作为翻译开始和结束的标志。
所述传感器模块10包括右手传感器模块11和左手传感器模块12，所述右手传感器模块11用于检测右手手套1的手语动作，所述左手传感器模块12用于检测左手手套2的手语动作。
所述右手传感器模块11安装在所述右手手套1上，所述右手传感器模块11包括弯曲传感器111、光敏传感器112和第一加速度传感器113，所述弯曲传感器111用于检测每一对应的手指的弯曲程度，所述光敏传感器112用于检测手指被遮挡程度，所述第一加速度传感器113用于检测对应的所述右手手套1的对地角度。所述弯曲传感器111的数量为五个，五个所述弯曲传感器111分别设置在所述右手手套1的五个手指上，用于检测每个手指的弯曲程度，根据手语手势生成对应的检测信号发送给控制模块20。所述光敏传感器112的数量为三个，三个所述光敏传感器112分别设置在所述右手手套1的大拇指手心一侧、食指手背一侧和食指上靠近中指的一侧，用于检测安装有光敏传感器112的手指是否被遮挡，以区分手指弯曲程度相同的字母。所述第一加速度传感器113设置在所述右手手套1的手背上，所述第一加速度传感器113用于检测右手手套1的对地角度，以区分手指弯曲程度相同的字母。
所述左手传感器模块12安装在所述左手手套2上，所述左手传感器模块12包括第二加速度传感器121，所述第二加速度传感器121用于检测所述左手手套2的对地角度。所述第二加速度传感器121设置在所述左手手套2的手背上，所述第二加速度传感器121用于检测左手手套2的对地角度，以作为翻译开始和结束的标志，同时以左手掌心朝向来表示当前翻译拼音的声调。
所述语音模块30包括依次连接的语音合成模块31和语音播报模块32，所述语音合成模块31将当前手语动作转化并合成对应的语音信号后发送给所述语音播报模块32进行播报。所述语音合成模块31用于将手语动作转化为对应的字母和声调，并将字母和声调组合得到对应的汉语拼音，所述语音播报模块32用于汉语拼音的朗读。
所述控制模块20、语音模块30和电源模块40集成在柔性电路板上，该柔性电路板设置在所述右手手套1或左手手套2上。在其他可行的实施方式中，根据使用者的左右手使用习惯，也可将所述右手手套1和左手手套2上的传感器模块对调设置。
本发明的工作原理：
本发明中组成拼音的字母手语手势根据GB24435-2009中汉语手指字母图规定的字母手语手势，将右手手套1每个手指上的弯曲传感器111检测到的手指弯曲程度分为“伸直”、“半弯曲”和“全弯曲”，为减小检测误差，上述手指弯曲程度均为弯曲角度区间，其中：手指弯曲角度区间为[0°～45°]时判断属于“伸直”状态，手指弯曲角度区间为(45°～125°]时判断属于“半弯曲”状态，手指弯曲角度区间为(125°～180°]时判断属于“全弯曲”状态。将大拇指上的弯曲传感器111记为“W1”，食指上的弯曲传感器111记为“W2”，中指上的弯曲传感器101记为“W3”，无名指上的弯曲传感器111记为“W4”，小指上的弯曲传感器111记为“W5”，若用数字“1”表示手指“伸直”、数字“2”表示手指“半弯曲”和数字“3”表示手指“全弯曲”，则可以得到二十六个单字母和四个双字母如表1所示的编码表。
Figure BDA0002462989550000071
Figure BDA0002462989550000081
表1
从上述表1可以看出，在三十个编码中有“L”和“R”、“C”和“CH”、“A”和“S”、“F”“H”“V”和“X”、“T”和“Z”、“G”和“I”以及“E”和“P”7组字母编码后对应的数字是一样的，为解决7组字母间的编码冲突，避免在翻译手语时产生歧义，本发明在右手手套1手背上设置第一加速度传感器113来检测右手手套1的对地角度，右手手套1手背上的加速度传感器113记为“A1”；在右手手套1的大拇指手心一侧、食指手背一侧和食指上靠近中指的一侧均设置一个光敏传感器112来检测该手指的是否被遮挡，将食指上靠近中指的一侧的光敏传感器112记为“G1”，将食指手背一侧的光敏传感器112记为“G2”，将大拇指手心一侧的光敏传感器112记为“G3”。若将右手指尖朝右时加速度传感器113的对地角度记为“0°”，右手指尖朝上时加速度传感器113的对地角度记为“90°”，右手指尖朝左时加速度传感器113的对地角度记为“180°”，右手指尖朝下时加速度传感器113的对地角度记为“-90°”，光敏传感器112被遮挡时记为“1”，则可以进一步得到一份如表2所示的新的编码表，为方便对比，表2中的字母已按照冲突情况重新排序。表2所示的编码表预先储存在所述语音模块30中，所述弯曲传感器111检测到的右手手指弯曲情况、光敏传感器112检测右手手指被遮挡情况、第一加速度传感器113检测右手的对地角度，然后发送给所述控制模块20，所述控制模块20识别弯曲传感器111、光敏传感器112和第一加速度传感器113的检测情况，根据当前的手语动作生成对应的控制信号发送给语音模块30，所述语音模块30对照表2将手语动作用转换为对应的字母，进而组合成拼音。
Figure BDA0002462989550000101
Figure BDA0002462989550000111
表2
为了使手语翻译更加精准，本发明在左手手套2手背上设置第二加速度传感器121来检测左手手套2的对地角度，既用作拼音的声调处理，同时又作为手语翻译开始和结束的标志。通过左手掌心的朝向决定当前拼音的声调，即当左手掌心向下时为一声，左手掌心向右时为二声，左手掌心向上时为三声，左手掌心向后时为四声；且当左手臂下垂时，右手无论做任何动作均无效，当左手抬起后，右手比划的字母手势才发挥作用。
本发明在使用时，使用者抬起左手，将左手手心朝向当前需翻译拼音的声调对应的方向，然后右手依次比划需翻译的拼音所包含的字母，比划完一个字母后，手部自然下垂一次，以确认该字母，然后进入下一个字母手势的比划，当整个拼音未完全拼写完成前，左手一直处于该音调位置，直到整个拼音比划完成，最后通过语音合成模块31将当前手语动作对应的拼音及声调转化并合成对应的语音信号发送给语音播报模块32进行播报，以实现任何手语的实时翻译。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。以上仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构，直接或间接运用在其他相关的技术领域，均同理在本发明的专利保护范围之内。

Claims (7)

1.一种基于自然拼读的穿戴式手语翻译装置，其特征在于：包括可穿戴手套和设置在所述可穿戴手套上的传感器模块、控制模块、语音模块和电源模块，所述可穿戴手套包括右手手套和左手手套；
所述传感器模块与所述控制模块通信连接，所述传感器模块用于检测所述可穿戴手套的手语动作并生成相应的检测信号发送给所述控制模块，所述传感器模块包括右手传感器模块和左手传感器模块，所述右手传感器模块用于检测右手手套的手语动作，所述左手传感器模块用于检测左手手套的手语动作；
所述右手传感器模块安装在右手手套上，所述右手传感器模块包括弯曲传感器、光敏传感器和第一加速度传感器，所述弯曲传感器用于检测手指的弯曲程度，所述光敏传感器用于检测手指被遮挡程度，所述第一加速度传感器用于检测所述右手手套的对地角度；
所述左手传感器模块安装在所述左手手套上，所述左手传感器模块包括第二加速度传感器，所述第二加速度传感器用于检测左手手套的对地角度；
所述控制模块用于接收所述传感器模块传输的检测信号，并向所述语音模块发出对应的控制信号；
所述语音模块与所述控制模块连接，所述语音模块根据所述控制模块发出的控制信号合成当前手语动作对应的语音信号并进行实时播放；
所述电源模块与所述控制模块连接，所述电源模块用于给整个手语翻译装置供电。
2.根据权利要求1所述的一种基于自然拼读的穿戴式手语翻译装置，其特征在于：所述语音模块包括依次连接的语音合成模块和语音播报模块，所述语音合成模块将当前手语动作转化并合成对应的语音信号后发送给所述语音播报模块进行实时播放。
3.根据权利要求1所述的一种基于自然拼读的穿戴式手语翻译装置，其特征在于：所述弯曲传感器的数量为五个，五个所述弯曲传感器分别设置在所述右手手套的五个手指上。
4.根据权利要求1所述的一种基于自然拼读的穿戴式手语翻译装置，其特征在于：所述光敏传感器的数量为三个，三个所述光敏传感器分别设置在所述右手手套的大拇指手心一侧、食指手背一侧和食指上靠近中指的一侧。
5.根据权利要求1所述的一种基于自然拼读的穿戴式手语翻译装置，其特征在于：所述第一加速度传感器设置在所述右手手套的手背上。
6.根据权利要求1所述的一种基于自然拼读的传感式手语翻译装置，其特征在于：所述第二加速度传感器设置在所述左手手套的手背上。
7.根据权利要求1所述的一种基于自然拼读的穿戴式手语翻译装置，其特征在于：所述控制模块、语音模块和电源模块集成在柔性电路板上，所述柔性电路板设置在所述右手手套或左手手套上。
CN202010325317.8A 2020-04-23 2020-04-23 一种基于自然拼读的穿戴式手语翻译装置 Active CN111462594B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010325317.8A CN111462594B (zh) 2020-04-23 2020-04-23 一种基于自然拼读的穿戴式手语翻译装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010325317.8A CN111462594B (zh) 2020-04-23 2020-04-23 一种基于自然拼读的穿戴式手语翻译装置

Publications (2)

Publication Number Publication Date
CN111462594A true CN111462594A (zh) 2020-07-28
CN111462594B CN111462594B (zh) 2022-04-22

Family

ID=71682009

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010325317.8A Active CN111462594B (zh) 2020-04-23 2020-04-23 一种基于自然拼读的穿戴式手语翻译装置

Country Status (1)

Country Link
CN (1) CN111462594B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112434592A (zh) * 2020-11-19 2021-03-02 维沃移动通信有限公司 佩戴检测方法、手套及可读存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103578329A (zh) * 2013-10-25 2014-02-12 西安理工大学 手语翻译智能装置及其使用方法
CN104134060A (zh) * 2014-08-03 2014-11-05 上海威璞电子科技有限公司 基于肌电信号和运动传感器的手语翻译和显示发声系统
CN104317403A (zh) * 2014-10-27 2015-01-28 黄哲军 一种用于手语识别的可穿戴设备
JP2015080090A (ja) * 2013-10-17 2015-04-23 国立大学法人電気通信大学 電気触覚提示装置およびプログラム並びに記録媒体
CN204791666U (zh) * 2015-05-13 2015-11-18 郑州大学 一种便携式智能手语翻译装置
CN106445168A (zh) * 2016-11-01 2017-02-22 中南大学 一种智能手套及其使用方法
CN106448351A (zh) * 2016-10-31 2017-02-22 天津工业大学 智能手语手套
CN208624701U (zh) * 2018-05-21 2019-03-22 钱梓善 智能手套
CN109708751A (zh) * 2018-12-29 2019-05-03 奥克斯空调股份有限公司 光敏传感器检测修正方法、装置及空调器

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015080090A (ja) * 2013-10-17 2015-04-23 国立大学法人電気通信大学 電気触覚提示装置およびプログラム並びに記録媒体
CN103578329A (zh) * 2013-10-25 2014-02-12 西安理工大学 手语翻译智能装置及其使用方法
CN104134060A (zh) * 2014-08-03 2014-11-05 上海威璞电子科技有限公司 基于肌电信号和运动传感器的手语翻译和显示发声系统
CN104317403A (zh) * 2014-10-27 2015-01-28 黄哲军 一种用于手语识别的可穿戴设备
CN204791666U (zh) * 2015-05-13 2015-11-18 郑州大学 一种便携式智能手语翻译装置
CN106448351A (zh) * 2016-10-31 2017-02-22 天津工业大学 智能手语手套
CN106445168A (zh) * 2016-11-01 2017-02-22 中南大学 一种智能手套及其使用方法
CN208624701U (zh) * 2018-05-21 2019-03-22 钱梓善 智能手套
CN109708751A (zh) * 2018-12-29 2019-05-03 奥克斯空调股份有限公司 光敏传感器检测修正方法、装置及空调器

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112434592A (zh) * 2020-11-19 2021-03-02 维沃移动通信有限公司 佩戴检测方法、手套及可读存储介质

Also Published As

Publication number Publication date
CN111462594B (zh) 2022-04-22

Similar Documents

Publication Publication Date Title
US6230135B1 (en) Tactile communication apparatus and method
CN1043210A (zh) 字根编码输入法及其设备
CN100478855C (zh) 一种盲文计算机点字输入系统和装置以及方法
CN111462594B (zh) 一种基于自然拼读的穿戴式手语翻译装置
CN107204141A (zh) 穿戴式盲文阅读设备
CN105551327A (zh) 一种基于柔性电子皮肤的互动式发音矫正系统及方法
CN100504733C (zh) 音形编码汉字输入法
Loeding et al. Progress in automated computer recognition of sign language
US4594683A (en) Apparatus for fixing a coordinate point within a flat data representation
CN201348834Y (zh) 盲文电子词典
CN201655054U (zh) 能合声拼读的拼音教读板
CN115019820A (zh) 一种触感感应和手指组合发声的聋哑人沟通方法及系统
CN108877406A (zh) 一种手指动作编码及其与汉语拼音的映射方法
EP0256016B1 (en) Device for sending and receiving a message
CN209928737U (zh) 聋哑人辅助发声系统
CN101339467A (zh) 一种盲文计算机点字输入系统及方法
US20100316978A1 (en) Mobile, wireless, hands-free visual/verbal trans-language communication system (acronym:V2V XLC System)
CN219476232U (zh) 盲人使用的点读学习机
CN109448696A (zh) 一种与聋哑人双向交流的发声手套装置
CN108538152A (zh) 一种用于聋哑人正常语音交流的便携式设备
CN107798927A (zh) 英语口语训练系统
CN101477760A (zh) 盲文电子词典
CN2710072Y (zh) 多功能语言教学机
KR100510876B1 (ko) 수화의 음성 생성기
CN211294239U (zh) 一种多模态英语教学设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant