CN108334197A - 一种用于听障人士的沟通工具 - Google Patents

一种用于听障人士的沟通工具 Download PDF

Info

Publication number
CN108334197A
CN108334197A CN201810078192.6A CN201810078192A CN108334197A CN 108334197 A CN108334197 A CN 108334197A CN 201810078192 A CN201810078192 A CN 201810078192A CN 108334197 A CN108334197 A CN 108334197A
Authority
CN
China
Prior art keywords
hearing
impaired people
sign language
action message
tool
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810078192.6A
Other languages
English (en)
Inventor
匡扶东
张家伦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING QIANDING INTERNET TECHNOLOGY Co Ltd
Original Assignee
BEIJING QIANDING INTERNET TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING QIANDING INTERNET TECHNOLOGY Co Ltd filed Critical BEIJING QIANDING INTERNET TECHNOLOGY Co Ltd
Priority to CN201810078192.6A priority Critical patent/CN108334197A/zh
Publication of CN108334197A publication Critical patent/CN108334197A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10—Transforming into visible information
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L2021/065—Aids for the handicapped in understanding

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及了一种用于听障人士的沟通工具，该沟通工具包括通讯连接的设备主体及可穿戴设备，所述设备主体包括显示模块、音频输出模块、麦克风及处理器；而且，处理器，用于通过所述可穿戴设备获取听障人士的手语动作信息，并根据所述手语动作信息确定听障人士所表达的语义信息，然后将所述语义信息转换成第一语音信息，且控制所述音频输出模块播放所述第一语音信息；还用于通过所述麦克风获取正常人的第二语音信息，并将所述第二语音信息转换成手语动作的图像信息，且控制所述显示模块显示所述图像信息。实施本发明的技术方案，可实现听障人士与正常人的即时沟通。

Description

一种用于听障人士的沟通工具
技术领域
本发明涉及生活辅助装置领域，尤其涉及一种用于听障人士的沟通工具。
背景技术
众所周知，语言是人们进行交流的主要手段，但是听障人士却无法运用这个手段。虽然目前与听障人士进行沟通可使用手语，但是，手语也要经过系统的学习才能掌握，这对于本来就有听力障碍的人群来说，是件较困难的事情，而且，即便是正常人学习手语，也是困难重重，因此，导致听障人士与正常人无法顺利沟通。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述与听障人士沟通不方便的缺陷，提供一种用于听障人士的沟通工具，可实现听障人士与正常人的即时沟通。
本发明解决其技术问题所采用的技术方案是：构造一种用于听障人士的沟通工具，包括通讯连接的设备主体及可穿戴设备，所述设备主体包括显示模块、音频输出模块、麦克风及处理器；而且，
处理器，用于通过所述可穿戴设备获取听障人士的手语动作信息，并根据所述手语动作信息确定听障人士所表达的语义信息，然后将所述语义信息转换成第一语音信息，且控制所述音频输出模块播放所述第一语音信息；还用于通过所述麦克风获取正常人的第二语音信息，并将所述第二语音信息转换成手语动作的图像信息，且控制所述显示模块显示所述图像信息。
优选地，所述可穿戴设备包括分别设置在听障人士手上不同关节处的多个传感器，而且，
所述处理器，还用于从所述传感器获取听障人士的手语动作信息。
优选地，所述传感器包括速度传感器、角度传感器或重力传感器。
优选地，所述可穿戴设备包括第一蓝牙模块或第一WIFI模块，所述设备主体包括第二蓝牙模块或第二WIFI模块，而且，所述可穿戴设备用于将所述传感器所检测的听障人士的手语动作信息通过蓝牙或WIFI发送至所述设备主体的处理器。
优选地，所述设备主体还包括双目摄像头，所述可穿戴设备包括分别设置在听障人士手上不同关节处的多个标记物；而且，
所述处理器，还用于接收所述双目摄像头所拍摄的听障人士的手的图像，并根据图像中的标记物进行图像分析以获取听障人士的手语动作信息。
优选地，所述可穿戴设备包括分别设置在听障人士手上不同关节处的多个传感器及多个标记物，所述设备主体还包括双目摄像头，而且，
所述处理器，还用于从所述传感器获取听障人士的第一手语动作信息，及接收所述双目摄像头所拍摄的听障人士的手的图像，并根据图像中的标记物进行图像分析以获取听障人士的第二手语动作信息，且对所述第一手语动作信息和所述第二手语动作信息进行融合计算，以获取最终的手语动作信息。
优选地，所述处理器，用于根据所述手语动作信息，通过模板匹配模型来确定听障人士所表达的语义信息。
优选地，所述显示模块为显示屏。
优选地，所述显示模块为投影模块。
优选地，所述投影模块为全息投影模块。
实施本发明的技术方案，通过该沟通工具可实现听障人士与正常人的即时沟通，而且，不需要学习手语，减轻了学习负担。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。附图中：
图1是本发明用于听障人士的沟通工具实施例一的逻辑结构图；
图2是图1中可穿戴设备实施例一的示意图；
图3是本发明用于听障人士的沟通工具实施例二的逻辑结构图。
具体实施方式
图1是本发明用于听障人士的沟通工具实施例一的逻辑结构图，该实施例的沟通工具可应用于正常人与听障人士的沟通交流的场景中，且该沟通工具包括通讯连接的设备主体10和可穿戴设备20，其中，结合图2，可穿戴设备20例如包括体感手套21和体感手环22，设备主体10包括处理器11及分别与处理器11相连的麦克风12、音频输出模块13及显示模块14，该音频输出模块13例如可为扬声器，也可为耳机接口模块。而且，处理器11用于通过可穿戴设备20获取听障人士的手语动作信息，并根据所述手语动作信息确定听障人士所表达的语义信息，然后将所述语义信息转换成第一语音信息，且控制所述音频输出模块13播放第一语音信息；还用于通过麦克风12获取正常人的第二语音信息，并将所述正常人的第二语音信息转换成手语动作的图像信息，且控制所述显示模块14显示所述图像信息。通过实施该技术方案，解决了听障人士与正常人沟通的问题，使听障人士能够与正常人进行互动沟通。
在一个可选实施例中，可穿戴设备20包括分别设置在听障人士手上不同关节处的多个传感器，优选地，传感器例如包括加速度传感器、角度传感器和重力传感器。正常情况下，大拇指和小拇指各2个关节点，食指、中指、无名指各3个关节点，两只手一共28个关节点，所以可在手套中各个关节点对应的位置处设置28个传感器，用于检测手指的相对位置和姿态。手环上也设置有传感器，例如，九轴传感器，用于捕捉双手相对位置和手腕的运动轨迹。而且，在该实施例中，处理器11用于从所述传感器获取听障人士的手语动作信息。
在一个可选实施例中，可穿戴设备20还包括第一蓝牙模块或第一WIFI模块，相应地，设备主体10包括第二蓝牙模块或第二WIFI模块，而且，可穿戴设备20用于将传感器所检测的听障人士的手语动作信息通过蓝牙或WIFI发送至设备主体10的处理器。
在一个可选实施例中，结合图3，相比图1所示的实施例，设备主体10还包括双目摄像头15，而且，可穿戴设备20包括分别设置在听障人士手上不同关节处的多个标记物。例如，手套中每根手指的标记物的颜色不同，每个手环中的标记物的颜色也不同，且与手指上的标记物的颜色也不同，所以共需要12种颜色。而且，在该实施例中，处理器11还用于接收双目摄像头15所拍摄的听障人士的手的图像，并根据图像中的标记物进行图像分析以获取听障人士的手语动作信息。
在一个可选实施例中，可穿戴设备20包括分别设置在听障人士手上不同关节处的多个传感器及多个标记物，设备主体10还包括双目摄像头，而且，处理器11还用于从所述传感器获取听障人士的第一手语动作信息，及接收所述双目摄像头所拍摄的听障人士的手的图像，并根据图像中的标记物进行图像分析以获取听障人士的第二手语动作信息，且对所述第一手语动作信息和所述第二手语动作信息进行融合计算，以获取最终的手语动作信息。在该实施例中，通过两种方式捕捉听障人士的手语动作信息，一种为通过手指和手腕关节处的传感器获取手语动作信息，一种为通过对双目摄像头所拍摄的图像进行图像分析来获取手语动作信息，然后对两种方式获取的手语动作信息先进行卡尔曼滤波，再进行融合计算，以提高手语动作捕捉的精准度。
在一个可选实施例中，处理器11用于根据所述手语动作信息，通过模板匹配模型来确定听障人士所表达的语义信息。在该实施例中，需说明的是，可通过机器学习获取多个手语动作的模板信息，并将其保存在数据库中。在获取到传感器检测的手语动作信息或通过图像处理获取到手语动作信息或获取到两者融合计算后的手语动作信息后，可通过模板匹配模型来确定听障人士所表达的语义信息。
在一个可选实施例中，显示模块14为显示屏，即，当获取到手语动作的图像信息后，可将该图像信息送入显示屏进行显示，以使听障人士查看到正常人说话所对应的手语动作。
在一个可选实施例中，显示模块14为投影模块，该投影模块可设置在设备主体上，也可与设备主体通讯连接，例如，使用带投影功能的无人机。优选地，该投影模块为全息投影模块。
在一个可选实施例中，设备主体上还设置有输入模块，用于供用户切换模式，输入模块可为开关、触摸按钮或触摸屏。而且，处理器11还用于根据输入模块的输入信息判断当前模式为正常人说话模式或听障人士说话模式，在正常人说话模式下，关闭音频输出模块13、双目摄像头15及停止与可穿戴设备20的通信，此时，麦克风12可获取正常人的第二语音信息，由处理器11将该第二语音信息转换成手语动作的图像信息，且控制显示模块14显示该图像信息；在听障人士说话模式下，关闭麦克风12及显示模块14，此时，处理器11通过可穿戴设备或双目摄像头15获取听障人士的手语动作信息，并根据所述手语动作信息确定听障人士所表达的语义信息，然后将所述语义信息转换成语音信息，且控制音频输出模块13播放语音信息。在该实施例中，通过模式的设置及选取，可防止音频输出模块13输出的第一语音信息重新被麦克风12采集到，以起到降低噪声的作用。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何纂改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (10)

1.一种用于听障人士的沟通工具，其特征在于，包括通讯连接的设备主体及可穿戴设备，所述设备主体包括显示模块、音频输出模块、麦克风及处理器；而且，
处理器，用于通过所述可穿戴设备获取听障人士的手语动作信息，并根据所述手语动作信息确定听障人士所表达的语义信息，然后将所述语义信息转换成第一语音信息，且控制所述音频输出模块播放所述第一语音信息；还用于通过所述麦克风获取正常人的第二语音信息，并将所述第二语音信息转换成手语动作的图像信息，且控制所述显示模块显示所述图像信息。
2.根据权利要求1所述的用于听障人士的沟通工具，其特征在于，所述可穿戴设备包括分别设置在听障人士手上不同关节处的多个传感器，而且，
所述处理器，还用于从所述传感器获取听障人士的手语动作信息。
3.根据权利要求2所述的用于听障人士的沟通工具，其特征在于，所述传感器包括速度传感器、角度传感器或重力传感器。
4.根据权利要求2所述的用于听障人士的沟通工具，其特征在于，所述可穿戴设备包括第一蓝牙模块或第一WIFI模块，所述设备主体包括第二蓝牙模块或第二WIFI模块，而且，所述可穿戴设备用于将所述传感器所检测的听障人士的手语动作信息通过蓝牙或WIFI发送至所述设备主体的处理器。
5.根据权利要求1所述的用于听障人士的沟通工具，其特征在于，所述设备主体还包括双目摄像头，所述可穿戴设备包括分别设置在听障人士手上不同关节处的多个标记物；而且，
所述处理器，还用于接收所述双目摄像头所拍摄的听障人士的手的图像，并根据图像中的标记物进行图像分析以获取听障人士的手语动作信息。
6.根据权利要求1所述的用于听障人士的沟通工具，其特征在于，所述可穿戴设备包括分别设置在听障人士手上不同关节处的多个传感器及多个标记物，所述设备主体还包括双目摄像头，而且，
所述处理器，还用于从所述传感器获取听障人士的第一手语动作信息，及接收所述双目摄像头所拍摄的听障人士的手的图像，并根据图像中的标记物进行图像分析以获取听障人士的第二手语动作信息，且对所述第一手语动作信息和所述第二手语动作信息进行融合计算，以获取最终的手语动作信息。
7.根据权利要求2-6任一项所述的用于听障人士的沟通工具，其特征在于，
所述处理器，用于根据所述手语动作信息，通过模板匹配模型来确定听障人士所表达的语义信息。
8.根据权利要求1所述的用于听障人士的沟通工具，其特征在于，所述显示模块为显示屏。
9.根据权利要求1所述的用于听障人士的沟通工具，其特征在于，所述显示模块为投影模块。
10.根据权利要求9所述的用于听障人士的沟通工具，其特征在于，所述投影模块为全息投影模块。
CN201810078192.6A 2018-01-26 2018-01-26 一种用于听障人士的沟通工具 Pending CN108334197A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810078192.6A CN108334197A (zh) 2018-01-26 2018-01-26 一种用于听障人士的沟通工具

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810078192.6A CN108334197A (zh) 2018-01-26 2018-01-26 一种用于听障人士的沟通工具

Publications (1)

Publication Number Publication Date
CN108334197A true CN108334197A (zh) 2018-07-27

Family

ID=62926567

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810078192.6A Pending CN108334197A (zh) 2018-01-26 2018-01-26 一种用于听障人士的沟通工具

Country Status (1)

Country Link
CN (1) CN108334197A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110534086A (zh) * 2019-09-03 2019-12-03 北京佳珥医学科技有限公司 用于语言交互的配件、移动终端及交互系统
CN112243061A (zh) * 2020-11-03 2021-01-19 珠海格力电器股份有限公司 一种移动终端的通信方法以及移动终端

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1770843A (zh) * 2005-09-20 2006-05-10 乐金电子（沈阳）有限公司 为语言障碍人员提供数据转换和传输的装置及其方法
CN101594434A (zh) * 2009-06-16 2009-12-02 中兴通讯股份有限公司 移动终端的手语处理方法和手语处理移动终端
CN101605399A (zh) * 2008-06-13 2009-12-16 英华达(上海)电子有限公司 一种实现手语识别的移动终端及方法
KR20150061909A (ko) * 2013-11-28 2015-06-05 주식회사 이랜텍 청각 장애인용 스마트 안경
CN206003392U (zh) * 2016-05-18 2017-03-08 福州大学 一种聋哑人社交手套

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1770843A (zh) * 2005-09-20 2006-05-10 乐金电子（沈阳）有限公司 为语言障碍人员提供数据转换和传输的装置及其方法
CN101605399A (zh) * 2008-06-13 2009-12-16 英华达(上海)电子有限公司 一种实现手语识别的移动终端及方法
CN101594434A (zh) * 2009-06-16 2009-12-02 中兴通讯股份有限公司 移动终端的手语处理方法和手语处理移动终端
KR20150061909A (ko) * 2013-11-28 2015-06-05 주식회사 이랜텍 청각 장애인용 스마트 안경
CN206003392U (zh) * 2016-05-18 2017-03-08 福州大学 一种聋哑人社交手套

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110534086A (zh) * 2019-09-03 2019-12-03 北京佳珥医学科技有限公司 用于语言交互的配件、移动终端及交互系统
CN112243061A (zh) * 2020-11-03 2021-01-19 珠海格力电器股份有限公司 一种移动终端的通信方法以及移动终端

Similar Documents

Publication Publication Date Title
US11601743B2 (en) Wireless ear bud system with pose detection
US11567581B2 (en) Systems and methods for position-based gesture control
CN109155837A (zh) 一种情绪感知的可穿戴的电话会议系统
CN103853071B (zh) 基于生物信号的人机面部表情交互系统
CN108245880A (zh) 基于多穿戴环带传感器融合的体感检测可视化方法和系统
JP2022500801A (ja) モバイル装置のユーザの認知状態を判定するための装置、方法、及びプログラム
US20220277506A1 (en) Motion-based online interactive platform
Chatterjee et al. Classification of wearable computing: A survey of electronic assistive technology and future design
US11630520B1 (en) Systems and methods for sensing gestures via vibration-sensitive wearables donned by users of artificial reality systems
CN110442233A (zh) 一种基于手势交互的增强现实键鼠系统
CN106853638A (zh) 一种基于增强现实的人体生物信号远程控制系统及方法
CN108334197A (zh) 一种用于听障人士的沟通工具
Du et al. Human–robot collaborative control in a virtual-reality-based telepresence system
KR102314710B1 (ko) 청각장애인을 위한 수화 번역 서비스 시스템
US11287971B1 (en) Visual-tactile virtual telepresence
US9704414B2 (en) Blind aid device
US20240282218A1 (en) A portable assistive device for challenged individuals
CN116322507A (zh) 一种性需求互动平台系统
WO2015177932A1 (ja) 双方向骨伝導通信装置および双方向骨伝導通信方法、ならびに双方向骨伝導ガイドナビシステム
Tessendorf et al. Ear-worn reference data collection and annotation for multimodal context-aware hearing instruments
JPWO2019167214A1 (ja) 推定装置、推定方法及びプログラム
Varcholik et al. Gestural communication with accelerometer-based input devices and tactile displays
US20240135617A1 (en) Online interactive platform with motion detection
Nguyen et al. A Case Study on the Effects of Auditory Cues in Influencing Spatial Memory and Representation for a Person Who is Blind
Gudmundsson et al. STRESS IN SPEECH COMMUNICATION

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180727