CN109448696A - 一种与聋哑人双向交流的发声手套装置 - Google Patents

Abstract

本发明公开了一种与聋哑人双向交流的发声手套装置，包括：开关阵列、倾角传感器、控制器、通信模块、语音合成模块、扬声器、语音采集模块、显示模块、网络模块、麦克风、电池和手套。该手套装置，能够实现聋哑人与正常人之间的双向交流：聋哑人向正常人发送信息时，发声手套装置通过采集手指动作、感知手掌倾角，根据手指动作和手掌倾角形成编码并发出声音信息；正常人向聋哑人发送信息时，发声手套装置通过采集正常人说话的语音，并对语音进行识别，再将识别信息显示在显示器上，供聋哑人阅读。

Description

一种与聋哑人双向交流的发声手套装置

技术领域

本发明涉及嵌入式计算机系统技术领域，具体涉及一种与聋哑人双向交流的发声手套装置。

背景技术

手语是一种依靠动作和视觉交流的特殊语言，是聋哑人交流的工具。手语由双手的手型、位置、方向、面部表情、唇动、体势信息的组合构成，学习手语，提高聋哑人的生活学习和工作条件，正常人学习手语可以为聋哑人提供更好的服务。然而，中国手语包含3000以上的常用的词汇，使得学习手语需要投入非常多的时间和巨大的努力，阻碍了正常人与聋哑人之间的正常交流。

随着计算机的普及使用，以及人工智能技术的发展，研究人员一直在努力实现手语与人类自然语言之间自动互译，手语识别是其中的重要研究方向。手语识别的目的就是通过计算机提供一种有效的、准确的机制，将手语翻译成文本或语音使得聋哑人和听力正常人之间的交流变得更加方便、快捷。

手语识别开始于90年代，从手语数据的采集设备来划分，主要包括基于数据手套的和基于视觉的两种系统。

基于视觉的手语识别系统受限于计算机视觉的技术能力，前端手形的检测非常困难，并且，识别受背景和光照影响非常大，因此，目前基于视觉的手语识别系统只能实现有限的手语识别。

数据手套结合运动传感器，可以容易地获得较精确的手语数据，已经可以实现大词汇量的手语识别，但数据手套成本非常高，严重限制了技术的推广应用。

发明专利“一种手指动作编码及其与汉语拼音的映射方法”，利用手指动作编码，并建立与汉语拼音之间的映射，可以将手指的动作，简单、精确地映射到对应的汉字语音，可以省去手语识别过程，采用这种方法，可以用来构建低成本的聋哑人发声装置。

发明专利“一种感知手动作发声的手套装置”提供了一种感知手动作发声的手套装置，该专利可以构建低成本的手套装置，实现发明专利“一种手指动作编码及其与汉语拼音的映射方法”。

但发明专利“一种感知手动作发声的手套装置”只能实现聋哑人与正常人的单向交流，即聋哑人通过该手套装置，可以将手指动作转换为语音，让正常人能够听到聋哑人的想要表达的信息，但该专利装置不能让聋哑人获取正常人说话的语音信息。

发明内容

(一)要解决的技术问题

有鉴于此，本发明的主要目的在于提供一种与聋哑人双向交流的发声手套装置，在发明专利“一种感知手动作发声的手套装置”的基础上，进一步地增加了语音识别等功能，实现与聋哑人的双向交流能力。

(二)技术方案

为达到上述目的，本发明提供了一种与聋哑人双向交流的发声手套装置，包括：

开关阵列，用于测量手指不同区域以及手掌之间的接触情况；倾角传感器，用于测量手掌的倾角；控制器，用于采集开关阵列和倾角传感器数据，对数据进行处理，并控制语音合成及发声合成过程，将显示信息发送到显示模块，还用于接收语音采集模块的音频数据，控制将音频数据发送到语音识别模块进行语音识别，接收语音识别模块返回的语音识别信息，将语音识别信息显示在显示模块上；显示模块，用于显示发声数据、语音识别信息和工作状态；网络模块，用于实现手套装置的网络通信；语音采集模块，用于采集声音信号，转换为音频电信号，形成音频数据，还用于将音频数据转换为音频电信号并驱动扬声器发声；语音合成模块，用于将控制器发出的文本转换为语音信号，还用于驱动扬声器发声；麦克风：用于实现将声音信号转换为音频电信号；通信模块，用于在控制器之间建立无线数据通信；扬声器，用于将音频电信号转换为声音信号；语音识别模块，用于对音频数据进行语音识别；电池，用于对倾角传感器、语音合成模块、控制器、通信模块、显示模块、网络模块、语音识别模块、语音采集模块和开关阵列供电；手套，用于在空间上容纳和约束数据手套的开关阵列、倾角传感器、控制器、通信模块、语音合成模块、语音识别模块、语音采集模块、扬声器、麦克风、电池、通信模块、显示模块、网络模块。

通信模块、网络模块和倾角传感器，在手套装置中，分别配置为有，或分别配置为无。

语音识别模块与手套集成为一体，或独立放置；当语音识别模块与手套集成为一体时，由电池供电；当语音识别模块独立放置时，语音识别模块自身独立供电。

语音合成模块与手套集成为一体，或独立放置；当语音合成模块与手套集成为一体时，还用于驱动扬声器发声，由电池供电；当语音合成模块独立放置时，语音合成模块自身独立供电。

开关阵列由安装在手指不同部位、或手掌不同部位的两个及两个以上的开关组成，可以测量大拇指与其他手指不同区域、或与手掌不同区域的接触情况。

倾角传感器安装于手套的手掌部位或手背部位。

控制器对数据进行处理，是将采集的开关阵列和倾角传感器数据进行编码，再将该编码译码为一个具有音调的汉语拼音所对应的汉字的编码。

当语音合成模块与手套集成为一体时，将控制器发出的文本转换为语音信号，并驱动扬声器发声；当语音合成模块独立放置时，语音合成模块输出的音频数据，通过网络发送到网路模块，再由控制器读入并转发到语音采集模块，语音采集模块将音频数据转换为音频电信号并驱动扬声器发声。

聋哑人使用手套装置向正常人发送信息时，手套装置按以下步骤运行：

控制器采集倾角传感器的角度，控制器同时采集开关阵列按键值；

控制器将采集的开关阵列和倾角传感器数据进行编码，再将该编码译码为一个具有音调的汉语拼音所对应的汉字的编码；

控制器将汉字编码发送到语音合成模块，语音合成模块进行语音合成，并驱动扬声器发声，或语音合成模块将合成的音频数据发送给控制器，控制器再将音频数据发送给语音采集模块，语音采集模块驱动扬声器发声；

控制器将汉字编码或汉字编码对应的汉语拼音发送到显示模块上显示。

聋哑人使用手套装置接收正常人说话时，手套装置按以下步骤运行：

语音采集模块采集正常人说话的声音信号，并转换音频电信号，再转换为音频数据，发送到控制器；

控制器将音频数据发送到语音识别模块进行语音识别；

语音识别模块将识别结果发回到控制器；

控制器将识别结果发送到显示模块显示。

(三)有益效果

从上述技术方案可以看出，本发明具有以下有益效果：

通过构建该发声手套装置，即可以克服传统手语识别系统使用条件受限、成本高等缺陷，构建低成本的手语到语音自动转换设备，为聋哑人研制低成本的发声装置，又可以实现聋哑人与正常人之间的双向交流。

附图说明

通过以下结合附图的说明，并且随着对本发明的更全面了解，本发明的其他目的和效果将变得更加清楚和易于理解，其中：

图1是本发明的手套装置第一种实施例的示意图；

图2是本发明的手套装置第二种实施例的示意图；

图3是本发明的手套装置第三种实施例的示意图；

图4是本发明的手套装置第四种实施例的示意图；

图5是本发明的手套装置第五种实施例的示意图；

图6是本发明的手套装置第六种实施例的示意图；

图7是本发明的手套装置第七种实施例的示意图；

图8是本发明的手套装置第八种实施例的示意图；

图9是本发明的手套装置第九种实施例的示意图；以及，

图10是本发明的手套装置第十种实施例的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

图1是本发明的手套装置第一种实施例的示意图。

根据本发明的实施例的与聋哑人双向交流的发声手套装置可以包括：开关阵列，用于测量手指不同区域以及手掌之间的接触情况；倾角传感器，用于测量手掌的倾角；控制器，用于采集开关阵列和倾角传感器数据，对数据进行处理，并控制语音合成模块发声，将显示信息发送到显示模块，还用于接收语音采集模块的音频数据，将数据发送到语音识别模块进行语音识别，接收语音识别模块返回的语音识别信息，将语音识别信息显示在显示模块上；显示模块，用于显示发声数据、语音识别信息和工作状态；语音采集模块，用于采集音频电信号，形成音频数据，还可以用于将音频数据转换为音频电信号并驱动扬声器发声；语音合成模块，用于将控制器发出的文本转换为语音信号，还可以用于驱动扬声器发声；麦克风：用于实现将声音信号转换为音频电信号；通信模块，用于在控制器之间建立无线数据通信；扬声器，用于将音频电信号转换为声音信号；语音识别模块，用于对音频数据进行语音识别；电池，用于对倾角传感器、语音合成模块、语音识别模块、控制器、通信模块、显示模块、语音采集模块和开关阵列供电；手套，用于在空间上容纳和约束数据手套的开关阵列、倾角传感器、控制器、通信模块、语音合成模块、语音识别模块、语音采集模块、显示模块、扬声器、麦克风、电池、通信模块和显示模块。

在本实施例中，图1中以虚线为界，上部装置包括：开关阵列、倾角传感器、控制器、通信模块、电池、手套、语音合成模块和扬声器；下部装置包括：开关阵列、倾角传感器、控制器、通信模块、语音采集模块、语音识别模块、显示模块、麦克风、电池和手套。

上部装置与下部装置通过通信模块进行无线通信。

开关阵列由安装在手指不同部位、手掌不同部位的两个及两个以上的开关组成，可以测量大拇指与其他手指不同区域、手掌不同区域的接触情况；开关阵列还可以采用安装在手指不同部位、手掌不同部位的两个及两个以上的电极组成；开关阵列还可以采用安装在手指不同部位、手掌不同部位的一个及一个以上的触摸屏组成。

控制器可以采用单片机芯片实现，或采用单片机模块实现，或采用ARM芯片实现，或采用ARM模块实现。

倾角传感器可以采用陀螺芯片或陀螺模块实现。

通信模块可以采用WIFI芯片实现，或采用WIFI模块实现，或采用蓝牙芯片实现，或采用蓝牙模块实现。

语音合成模块采用语音合成芯片或语音合成模块实现；

语音合成模块也可以采用软件实现，即将汉字或拼音对应的语音数据存储在控制器的非易失存储器内，通过软件查表，将所需的语音数据输出到语音采集模块，由语音采集模块转换为语音信号并驱动扬声器发声，此时，扬声器需要与语音采集模块布置在一只手套上。

语音采集模块采用由语音编码芯片和语音解码芯片组成的电路实现，或采用具有语音编解码功能的模块实现。

语音识别模块采用语音识别芯片或语音识别模块实现，语音识别模块也可以采用在控制器上运行的软件实现。

显示模块可以采用LCD屏或OLED屏实现。

电池可以采用锂电池实现，或采用可充电的镍氢电池实现。

手套可以采用布手套实现，或采用人造纤维手套实现，或采用皮革手套实现。

第一种实施例的一种与聋哑人双向交流的发声手套装置在工作时，采用以下工作步骤：

当聋哑人使用手套装置向正常人发送信息时，手套装置按以下步骤运行：

步骤1：控制器采集倾角传感器的角度，控制器同时采集开关阵列按键值，即，两个控制器分别采集对应的开关阵列输出的数据和倾角传感器输出的数据；

步骤2：控制器将采集的开关阵列和倾角传感器数据进行编码，再将该编码译码为一个具有音调的汉语拼音所对应的汉字的编码；即，对开关阵列输出的数据和倾角传感器输出的数据进行编码，下部装置的控制器将下部的编码输入到下部装置的通信模块，再由无线链路发送到上部装置的通信模块，然后发送到上部装置的控制器，下部的编码与上部的编码结合，形成完整的手部动作编码，控制器查询内部预先存储的手部动作编码映射表，将采集的完整的手部动作编码映射为一个汉字编码；

步骤3：控制器将汉字编码发送到语音合成模块，语音合成模块进行语音合成，并驱动扬声器发声，或语音合成模块将合成的音频数据发送给控制器，控制器再将音频数据发送给语音采集模块，语音采集模块驱动扬声器发声；

步骤4：控制器将汉字编码或汉字编码对应的汉语拼音发送到显示模块上显示。

当聋哑人使用手套装置接收正常人说话时，手套装置按以下步骤运行：

步骤1：语音采集模块采集正常人说话的声音信号，转换为音频电信号，再转换为音频数据，发送到控制器；

步骤2：控制器将音频数据发送到语音识别模块进行语音识别；

步骤3：语音识别模块将识别结果发回到控制器；

步骤4：控制器将识别结果发送到显示模块显示。

图2是本发明手套装置第二种实施例的示意图。根据本发明的实施例的与聋哑人双向交流的发声手套装置可以包括：开关阵列，用于测量手指不同区域以及手掌之间的接触情况；倾角传感器，用于测量手掌的倾角；控制器，用于采集开关阵列和倾角传感器数据，对数据进行处理，并控制语音合成模块发声，将显示信息发送到显示模块，还用于接收语音采集模块的音频数据，将数据发送到语音识别模块进行语音识别，接收语音识别模块返回的语音识别信息，将语音识别信息显示在显示模块上；显示模块，用于显示发声数据、语音识别信息和工作状态；语音采集模块，用于采集声音信号，转换为音频电信号，形成音频数据，还用于将音频数据转换为音频电信号并驱动扬声器发声；语音合成模块，用于将控制器发出的文本转换为语音信号，还可以用于驱动扬声器发声；麦克风：用于实现将声音信号转换为音频电信号；扬声器，用于将音频电信号转换为声音信号；语音识别模块，用于对音频数据进行语音识别；电池，用于对倾角传感器、语音合成模块、语音识别模块、控制器、显示模块、语音采集模块和开关阵列供电；手套，用于在空间上容纳和约束数据手套的开关阵列、倾角传感器、控制器、通信模块、语音合成模块、语音识别模块、语音采集模块、扬声器、麦克风、电池和显示模块。

在本实施例中，图2中以虚线为界，上部装置包括：开关阵列、倾角传感器、控制器、语音采集模块、语音识别模块、显示模块、麦克风、电池、手套、语音合成模块和扬声器；下部装置包括：开关阵列、倾角传感器、控制器和手套。

上部装置的控制器与下部装置的控制器直接进行有线通信。

上部装置的电池通过电缆给下部装置的开关阵列、倾角传感器和控制器供电。

第二种实施例中开关阵列、倾角传感器、控制器、语音采集模块、显示模块、麦克风、电池、手套、语音合成模块、语音识别模块和扬声器的实现方法与第一种实施例的实现方法相同。

第二种实施例的与聋哑人双向交流的发声手套装置在工作时，采用以下工作步骤：

当聋哑人使用手套装置向正常人发送信息时，手套装置按以下步骤运行：

步骤1：控制器采集倾角传感器的角度，控制器同时采集开关阵列按键值，即，两个控制器分别采集对应的开关阵列输出的数据和倾角传感器输出的数据；

步骤2：控制器将采集的开关阵列和倾角传感器数据进行编码，再将该编码译码为一个具有音调的汉语拼音所对应的汉字的编码；即，对开关阵列输出的数据和倾角传感器输出的数据进行编码，下部装置的控制器将下部的编码通过有线链路发送到上部装置的控制器，下部的编码与上部的编码结合，形成完整的手部动作编码，控制器查询内部预先存储的手部动作编码映射表，将采集的完整的手部动作编码映射为一个汉字编码；

步骤3：控制器将汉字编码发送到语音合成模块，语音合成模块进行语音合成，并驱动扬声器发声，或语音合成模块将合成的音频数据发送给控制器，控制器再将音频数据发送给语音采集模块，语音采集模块驱动扬声器发声；

步骤4：控制器将汉字编码或汉字编码对应的汉语拼音发送到显示模块上显示。

当聋哑人使用手套装置接收正常人说话时，手套装置的运行步骤与第一种实施例相同。

图3是本发明的手套装置第三种实施例的示意图。根据本发明的实施例的与聋哑人双向交流的发声手套装置可以包括：开关阵列，用于测量手指不同区域以及手掌之间的接触情况；倾角传感器，用于测量手掌的倾角；控制器，用于采集开关阵列和倾角传感器数据，对数据进行处理，并控制语音合成模块发声，将显示信息发送到显示模块，还用于接收语音采集模块的音频数据，将数据发送到语音识别模块进行语音识别，接收语音识别模块返回的语音识别信息，将语音识别信息显示在显示模块上；显示模块，用于显示发声数据、语音识别信息和工作状态；语音采集模块，用于采集声音信号，转换为音频电信号，形成音频数据，还用于将音频数据转换为音频电信号并驱动扬声器发声；语音合成模块，用于将控制器发出的文本转换为语音信号，还可以用于驱动扬声器发声；麦克风：用于实现将声音信号转换为音频电信号；扬声器，用于将音频电信号转换为声音信号；语音识别模块，用于对音频数据进行语音识别；电池，用于对倾角传感器、语音合成模块、控制器、显示模块、语音采集模块、语音识别模块和开关阵列供电；手套，用于在空间上容纳和约束数据手套的开关阵列、倾角传感器、控制器、语音合成模块、语音识别模块、语音采集模块、扬声器、麦克风、电池和显示模块。

在本实施例中，图3中以虚线为界，上部装置包括：开关阵列、倾角传感器、控制器、语音采集模块、显示模块、语音识别模块、麦克风、电池、手套、语音合成模块和扬声器；下部装置包括：开关阵列、倾角传感器和手套。

上部装置的控制器通过电缆直接采集下部装置的开关阵列、倾角传感器的数据。

上部装置的电池通过电缆给下部装置的开关阵列和倾角传感器供电。

第三种实施例中开关阵列、倾角传感器、控制器、语音采集模块、显示模块、麦克风、电池、手套、语音识别模块、语音合成模块和扬声器的实现方法与第一种实施例的实现方法相同。

第三种实施例的与聋哑人双向交流的发声手套装置在工作时，采用以下工作步骤：

当聋哑人使用手套装置向正常人发送信息时，手套装置按以下步骤运行：

步骤1：控制器采集倾角传感器的角度，控制器同时采集开关阵列按键值，即，上部装置的控制器采集上部装置的开关阵列输出的数据和倾角传感器输出的数据，上部装置的控制器同时采集下部装置的开关阵列输出的数据和倾角传感器输出的数据；

步骤2：控制器将采集的开关阵列和倾角传感器数据进行编码，再将该编码译码为一个具有音调的汉语拼音所对应的汉字的编码；即，对开关阵列输出的数据和倾角传感器输出的数据进行编码，形成完整的手部动作编码，控制器查询内部预先存储的手部动作编码映射表，将采集的完整的手部动作编码映射为一个汉字编码；

步骤3：控制器将汉字编码发送到语音合成模块，语音合成模块进行语音合成，并驱动扬声器发声，或语音合成模块将合成的音频数据发送给控制器，控制器再将音频数据发送给语音采集模块，语音采集模块驱动扬声器发声；

步骤4：控制器将汉字编码或汉字编码对应的汉语拼音发送到显示模块上显示。

当聋哑人使用手套装置接收正常人说话时，手套装置的运行步骤与第一种实施例相同。

图4是本发明的手套装置第四种实施例的示意图。根据本发明的实施例的与聋哑人双向交流的发声手套装置可以包括：开关阵列，用于测量手指不同区域以及手掌之间的接触情况；倾角传感器，用于测量手掌的倾角；控制器，用于采集开关阵列和倾角传感器数据，对数据进行处理，并控制语音合成模块发声，将显示信息发送到显示模块，还用于接收语音采集模块的音频数据，将数据通过网络模块发送到语音识别模块进行语音识别，接收语音识别模块返回的语音识别信息，将语音识别信息显示在显示模块上；显示模块，用于显示发声数据、语音识别信息和工作状态；网络模块，用于实现手套装置的网络通信；语音采集模块，用于采集声音信号，转换为音频电信号，形成音频数据，还用于将音频数据转换为音频电信号并驱动扬声器发声；语音合成模块，用于将控制器发出的文本转换为语音信号，还可以用于驱动扬声器发声；麦克风：用于实现将声音信号转换为音频电信号；通信模块，用于在控制器之间建立无线数据通信；扬声器，用于将音频电信号转换为声音信号；语音识别模块，用于对音频数据进行语音识别；电池，用于对倾角传感器、控制器、通信模块、显示模块、网络模块、语音合成模块、语音采集模块和开关阵列供电；手套，用于在空间上容纳和约束数据手套的开关阵列、倾角传感器、控制器、通信模块、语音合成模块、语音采集模块、扬声器、麦克风、电池、通信模块、显示模块、网络模块。

在本实施例中，图4中以虚线为界，右侧上部装置包括：开关阵列、倾角传感器、控制器、通信模块、电池、手套、语音合成模块和扬声器；右侧下部装置包括：开关阵列、倾角传感器、控制器、通信模块、网络模块、语音采集模块、显示模块、麦克风、电池和手套；左侧装置包括语音识别模块。

右侧上部装置与右侧下部装置通过通信模块进行无线通信。

第四种实施例中开关阵列、倾角传感器、控制器、语音采集模块、显示模块、麦克风、通信模块、电池、手套、语音合成模块和扬声器的实现方法与第一种实施例的实现方法相同。

网络模块采用WIFI芯片实现，或采用WIFI模块实现，或采用3G、4G等无线蜂窝网络通信模块实现；

当网络模块采用WIFI芯片或采用WIFI模块实现时，若通信模块也采用WIFI芯片或WIFI模块实现，这时，网络模块和通信模块可以合并为一个模块。

语音识别模块采用具有无线通信功能的语音识别信号处理机实现，也可以采用连接互联网的具有语音识别功能的云服务器实现。

第四种实施例的一种与聋哑人双向交流的发声手套装置在工作时，采用以下工作步骤：

当聋哑人使用手套装置向正常人发送信息时，手套装置的运行步骤与第一种实施例相同。

当聋哑人使用手套装置接收正常人说话时，手套装置按以下步骤运行：

步骤1：语音采集模块采集正常人说话声音信号，并转换为音频电信号，再转换为音频数据，发送到控制器；

步骤2：控制器将音频数据发送到网络模块；

步骤3：网络模块将音频数据发送到语音识别模块；

步骤4：语音识别模块进行语音识别，将识别结果发回网络模块；

步骤5：网络模块将识别结果发送到控制器；

步骤6：控制器将识别结果发送到显示模块显示。

图5是本发明手套装置第五种实施例的示意图。根据本发明的实施例的与聋哑人双向交流的发声手套装置可以包括：开关阵列，用于测量手指不同区域以及手掌之间的接触情况；倾角传感器，用于测量手掌的倾角；控制器，用于采集开关阵列和倾角传感器数据，对数据进行处理，并控制语音合成模块发声，将显示信息发送到显示模块，还用于接收语音采集模块的音频数据，将数据通过网络模块发送到语音识别模块进行语音识别，接收语音识别模块返回的语音识别信息，将语音识别信息显示在显示模块上；显示模块，用于显示发声数据、语音识别信息和工作状态；网络模块，用于实现手套装置的网络通信；语音采集模块，用于采集声音信号，转换为音频电信号，形成音频数据，还用于将音频数据转换为音频电信号并驱动扬声器发声；语音合成模块，用于将控制器发出的文本转换为语音信号，还可以用于驱动扬声器发声；麦克风：用于实现将声音信号转换为音频电信号；扬声器，用于将音频电信号转换为声音信号；语音识别模块，用于对音频数据进行语音识别；电池，用于对倾角传感器、语音合成模块、控制器、显示模块、网络模块、语音采集模块和开关阵列供电；手套，用于在空间上容纳和约束数据手套的开关阵列、倾角传感器、控制器、通信模块、语音合成模块、扬声器、麦克风、电池、显示模块、网络模块。

在本实施例中，图5中以虚线为界，右侧上部装置包括：开关阵列、倾角传感器、控制器、语音采集模块、显示模块、网络模块、麦克风、电池、手套、语音合成模块和扬声器；右侧下部装置包括：开关阵列、倾角传感器、控制器和手套；左侧装置包括语音识别模块。

右侧上部装置的控制器与右侧下部装置的控制器直接进行有线通信。

右侧上部装置的电池通过电缆给右侧下部装置的开关阵列、倾角传感器和控制器供电。

第五种实施例中开关阵列、倾角传感器、控制器、网络模块、语音采集模块、显示模块、麦克风、电池、手套、语音合成模块和扬声器的实现方法与第四种实施例的实现方法相同。

第五种实施例的与聋哑人双向交流的发声手套装置在工作时，采用以下工作步骤：

当聋哑人使用手套装置向正常人发送信息时，手套装置的运行步骤与第二种实施例相同。

当聋哑人使用手套装置接收正常人说话时，手套装置的运行步骤与第四种实施例相同。

图6是本发明的手套装置第六种实施例的示意图。根据本发明的实施例的与聋哑人双向交流的发声手套装置可以包括：开关阵列，用于测量手指不同区域以及手掌之间的接触情况；倾角传感器，用于测量手掌的倾角；控制器，用于采集开关阵列和倾角传感器数据，对数据进行处理，并控制语音合成模块发声，将显示信息发送到显示模块，还用于接收语音采集模块的音频数据，将数据通过网络模块发送到语音识别模块进行语音识别，接收语音识别模块返回的语音识别信息，将语音识别信息显示在显示模块上；显示模块，用于显示发声数据、语音识别信息和工作状态；网络模块，用于实现手套装置的网络通信；语音采集模块，用于采集声音信号，转换为音频电信号，形成音频数据，还用于将音频数据转换为音频电信号并驱动扬声器发声；语音合成模块，用于将控制器发出的文本转换为语音信号，还可以用于驱动扬声器发声；麦克风：用于实现将声音信号转换为音频电信号；扬声器，用于将音频电信号转换为声音信号；语音识别模块，用于对音频数据进行语音识别；电池，用于对倾角传感器、语音合成模块、控制器、显示模块、网络模块、语音采集模块和开关阵列供电；手套，用于在空间上容纳和约束数据手套的开关阵列、倾角传感器、控制器、通信模块、语音合成模块、语音采集模块、扬声器、麦克风、电池、显示模块、网络模块。

在本实施例中，图6中以虚线为界，右侧上部装置包括：开关阵列、倾角传感器、控制器、语音采集模块、网络模块、显示模块、麦克风、电池、手套、语音合成模块和扬声器；右侧下部装置包括：开关阵列、倾角传感器和手套；左侧装置包括语音识别模块。

右侧上部装置的控制器通过电缆直接采集右侧下部装置的开关阵列、倾角传感器的数据。

右侧上部装置的电池通过电缆给右侧下部装置的开关阵列和倾角传感器供电。

第六种实施例中开关阵列、倾角传感器、控制器、网络模块、语音采集模块、显示模块、麦克风、电池、手套、语音合成模块、语音识别模块和扬声器的实现方法与第一种实施例的实现方法相同。

第六种实施例的与聋哑人双向交流的发声手套装置在工作时，采用以下工作步骤：

当聋哑人使用手套装置向正常人发送信息时，手套装置的运行步骤与第三种实施例相同。

当聋哑人使用手套装置接收正常人说话时，手套装置的运行步骤与第四种实施例相同。

图7是本发明的手套装置第七种实施例的示意图。根据本发明的实施例的与聋哑人双向交流的发声手套装置可以包括：开关阵列，用于测量手指不同区域以及手掌之间的接触情况；倾角传感器，用于测量手掌的倾角；控制器，用于采集开关阵列和倾角传感器数据，对数据进行处理，将语音合成数据通过网络模块发送到语音合成模块，接收语音合成模块通过网络发回的音频数据，发送到语音采集模块，将显示信息发送到显示模块，还用于接收语音采集模块的音频数据，将数据通过网络模块发送到语音识别模块进行语音识别，接收语音识别模块返回的语音识别信息，将语音识别信息显示在显示模块上；显示模块，用于显示发声数据、语音识别信息和工作状态；网络模块，用于实现手套装置的网络通信；语音采集模块，用于采集声音信号，转换为音频电信号，形成音频数据，还用于将音频数据转换为音频电信号并驱动扬声器发声；语音合成模块，用于将控制器发出的文本转换为语音信号，还可以用于驱动扬声器发声；麦克风：用于实现将声音信号转换为音频电信号；通信模块，用于在控制器之间建立无线数据通信；扬声器，用于将音频电信号转换为声音信号；语音识别模块，用于对音频数据进行语音识别；电池，用于对倾角传感器、控制器、通信模块、显示模块、网络模块、语音采集模块和开关阵列供电；手套，用于在空间上容纳和约束数据手套的开关阵列、倾角传感器、控制器、通信模块、扬声器、麦克风、电池、通信模块、显示模块、网络模块。

在本实施例中，图7中以虚线为界，右侧上部装置包括：开关阵列、倾角传感器、控制器、通信模块、电池和手套；右侧下部装置包括：开关阵列、倾角传感器、控制器、通信模块、网络模块、语音采集模块、显示模块、麦克风、电池、扬声器和手套；左侧装置包括语音识别模块和语音合成模块。

右侧上部装置与右侧下部装置通过通信模块进行无线通信。

第七种实施例中开关阵列、倾角传感器、控制器、语音采集模块、显示模块、麦克风、通信模块、网络模块、电池、手套、语音识别模块和扬声器的实现方法与第四种实施例的实现方法相同。

语音合成模块采用具有无线通信功能的语音合成信号处理机实现，也可以采用连接互联网的具有语音合成功能的云服务器实现。

第七种实施例的一种与聋哑人双向交流的发声手套装置在工作时，采用以下工作步骤：

当聋哑人使用手套装置向正常人发送信息时，手套装置按以下步骤运行：

步骤1：控制器采集倾角传感器的角度，控制器同时采集开关阵列按键值，即，两个控制器分别采集对应的开关阵列输出的数据和倾角传感器输出的数据；

步骤2：控制器将采集的开关阵列和倾角传感器数据进行编码，再将该编码译码为一个具有音调的汉语拼音所对应的汉字的编码；即，对开关阵列输出的数据和倾角传感器输出的数据进行编码，下部装置的控制器将下部的编码输入到下部装置的通信模块，再由无线链路发送到上部装置的通信模块，然后发送到上部装置的控制器，下部的编码与上部的编码结合，形成完整的手部动作编码，控制器查询内部预先存储的手部动作编码映射表，将采集的完整的手部动作编码映射为一个汉字编码；

步骤3：控制器将汉字编码发送到网络模块；

步骤4：网络模块将汉字编码发送到语音合成模块；

步骤5：语音合成模块进行语音合成，将合成的语音数据发送到网络模块；

步骤6：网络模块将语音数据发送到控制器；

步骤7：控制器将语音数据发送到语音采集模块，语音采集模块将语音数据转换为语音信号、驱动扬声器发声；

步骤8：控制器将汉字编码或汉字编码对应的汉语拼音发送到显示模块上显示。

当聋哑人使用手套装置接收正常人说话时，手套装置的运行步骤与第四种实施例相同。

图8是本发明手套装置第八种实施例的示意图。根据本发明的实施例的与聋哑人双向交流的发声手套装置可以包括：开关阵列，用于测量手指不同区域以及手掌之间的接触情况；倾角传感器，用于测量手掌的倾角；控制器，用于采集开关阵列和倾角传感器数据，对数据进行处理，将语音合成数据通过网络模块发送到语音合成模块，接收语音合成模块通过网络发回的音频数据，发送到语音采集模块，将显示信息发送到显示模块，还用于接收语音采集模块的音频数据，将数据通过网络模块发送到语音识别模块进行语音识别，接收语音识别模块返回的语音识别信息，将语音识别信息显示在显示模块上；显示模块，用于显示发声数据、语音识别信息和工作状态；网络模块，用于实现手套装置的网络通信；语音采集模块，用于采集声音信号，转换为音频电信号，形成音频数据，还用于将音频数据转换为音频电信号并驱动扬声器发声；语音合成模块，用于将控制器发出的文本转换为语音信号，还可以用于驱动扬声器发声；麦克风：用于实现将声音信号转换为音频电信号；扬声器，用于将音频电信号转换为声音信号；语音识别模块，用于对音频数据进行语音识别；电池，用于对倾角传感器、控制器、显示模块、网络模块、语音采集模块和开关阵列供电；手套，用于在空间上容纳和约束数据手套的开关阵列、倾角传感器、控制器、语音采集模块、扬声器、麦克风、电池、通信模块、显示模块、网络模块。

在本实施例中，图8中以虚线为界，右侧上部装置包括：开关阵列、倾角传感器、控制器、语音采集模块、显示模块、网络模块、麦克风、电池、手套和扬声器；右侧下部装置包括：开关阵列、倾角传感器、控制器和手套；左侧装置包括语音识别模块和语音合成模块。

右侧上部装置的控制器与右侧下部装置的控制器直接进行有线通信。

右侧上部装置的电池通过电缆给右侧下部装置的开关阵列、倾角传感器和控制器供电。

第八种实施例中开关阵列、倾角传感器、控制器、网络模块、语音识别模块、语音合成模块、语音采集模块、显示模块、麦克风、电池、手套和扬声器的实现方法与第七种实施例的实现方法相同。

第八种实施例的与聋哑人双向交流的发声手套装置在工作时，采用以下工作步骤：

当聋哑人使用手套装置向正常人发送信息时，手套装置按以下步骤运行：

步骤1：控制器采集倾角传感器的角度，控制器同时采集开关阵列按键值，即，两个控制器分别采集对应的开关阵列输出的数据和倾角传感器输出的数据；

步骤2：控制器将采集的开关阵列和倾角传感器数据进行编码，再将该编码译码为一个具有音调的汉语拼音所对应的汉字的编码；即，对开关阵列输出的数据和倾角传感器输出的数据进行编码，下部装置的控制器将下部的编码通过有线链路发送到上部装置的控制器，下部的编码与上部的编码结合，形成完整的手部动作编码，控制器查询内部预先存储的手部动作编码映射表，将采集的完整的手部动作编码映射为一个汉字编码；

步骤3：控制器将汉字编码发送到网络模块；

步骤4：网络模块将汉字编码发送到语音合成模块；

步骤5：语音合成模块进行语音合成，将合成的语音数据发送到网络模块；

步骤6：网络模块将语音数据发送到控制器；

步骤7：控制器将语音数据发送到语音采集模块，语音采集模块将语音数据转换为语音信号、驱动扬声器发声；

步骤8：控制器将汉字编码或汉字编码对应的汉语拼音发送到显示模块上显示。

当聋哑人使用手套装置接收正常人说话时，手套装置的运行步骤与第四种实施例相同。

图9是本发明的手套装置第九种实施例的示意图。根据本发明的实施例的与聋哑人双向交流的发声手套装置可以包括：开关阵列，用于测量手指不同区域以及手掌之间的接触情况；倾角传感器，用于测量手掌的倾角；控制器，用于采集开关阵列和倾角传感器数据，对数据进行处理，将语音合成数据通过网络模块发送到语音合成模块，接收语音合成模块通过网络发回的音频数据，发送到语音采集模块，将显示信息发送到显示模块，还用于接收语音采集模块的音频数据，将数据通过网络模块发送到语音识别模块进行语音识别，接收语音识别模块返回的语音识别信息，将语音识别信息显示在显示模块上；显示模块，用于显示发声数据、语音识别信息和工作状态；网络模块，用于实现手套装置的网络通信；语音采集模块，用于采集声音信号，转换为音频电信号，形成音频数据，还用于将音频数据转换为音频电信号并驱动扬声器发声；语音合成模块，用于将控制器发出的文本转换为语音信号，还可以用于驱动扬声器发声；麦克风：用于实现将声音信号转换为音频电信号；扬声器，用于将音频电信号转换为声音信号；语音识别模块，用于对音频数据进行语音识别；电池，用于对倾角传感器、控制器、显示模块、网络模块、语音采集模块和开关阵列供电；手套，用于在空间上容纳和约束数据手套的开关阵列、倾角传感器、控制器、语音采集模块、扬声器、麦克风、电池、显示模块、网络模块。

在本实施例中，图9中以虚线为界，右侧上部装置包括：开关阵列、倾角传感器、控制器、语音采集模块、显示模块、网络模块、麦克风、电池、手套和扬声器；右侧下部装置包括：开关阵列、倾角传感器和手套；左侧装置包括语音识别模块和语音合成模块。

右侧上部装置的控制器通过电缆直接采集右侧下部装置的开关阵列、倾角传感器的数据。

右侧上部装置的电池通过电缆给右侧下部装置的开关阵列和倾角传感器供电。

第九种实施例中开关阵列、倾角传感器、控制器、网络模块、语音采集模块、显示模块、麦克风、电池、手套、语音合成模块、语音识别模块和扬声器的实现方法与第七种实施例的实现方法相同。

第九种实施例的与聋哑人双向交流的发声手套装置在工作时，采用以下工作步骤：

当聋哑人使用手套装置向正常人发送信息时，手套装置按以下步骤运行：

步骤1：控制器采集倾角传感器的角度，控制器同时采集开关阵列按键值，即，上部装置的控制器采集上部装置的开关阵列输出的数据和倾角传感器输出的数据，上部装置的控制器同时采集下部装置的开关阵列输出的数据和倾角传感器输出的数据；

步骤2：控制器将采集的开关阵列和倾角传感器数据进行编码，再将该编码译码为一个具有音调的汉语拼音所对应的汉字的编码；即，对开关阵列输出的数据和倾角传感器输出的数据进行编码，形成完整的手部动作编码，控制器查询内部预先存储的手部动作编码映射表，将采集的完整的手部动作编码映射为一个汉字编码；

步骤3：控制器将汉字编码发送到网络模块；

步骤4：网络模块将汉字编码发送到语音合成模块；

步骤5：语音合成模块进行语音合成，将合成的语音数据发送到网络模块；

步骤6：网络模块将语音数据发送到控制器；

步骤7：控制器将语音数据发送到语音采集模块，语音采集模块将语音数据转换为语音信号、驱动扬声器发声；

步骤8：控制器将汉字编码或汉字编码对应的汉语拼音发送到显示模块上显示。

当聋哑人使用手套装置接收正常人说话时，手套装置的运行步骤与第四种实施例相同。

图10是本发明手套装置第十种实施例的示意图。根据本发明的实施例的与聋哑人双向交流的发声手套装置可以包括：开关阵列，用于测量手指不同区域以及手掌之间的接触情况；控制器，用于采集开关阵列数据，对数据进行处理，将语音合成数据通过网络模块发送到语音合成模块，接收语音合成模块通过网络发回的音频数据，发送到语音采集模块，将显示信息发送到显示模块，还用于接收语音采集模块的音频数据，将数据通过网络模块发送到语音识别模块进行语音识别，接收语音识别模块返回的语音识别信息，将语音识别信息显示在显示模块上；显示模块，用于显示发声数据、语音识别信息和工作状态；网络模块，用于实现手套装置的网络通信；语音采集模块，用于采集声音信号，转换为音频电信号，形成音频数据，还用于将音频数据转换为音频电信号并驱动扬声器发声；语音合成模块，用于将控制器发出的文本转换为语音信号，还可以用于驱动扬声器发声；麦克风：用于实现将声音信号转换为音频电信号；扬声器，用于将音频电信号转换为声音信号；语音识别模块，用于对音频数据进行语音识别；电池，用于对控制器、显示模块、网络模块、语音采集模块和开关阵列供电；手套，用于在空间上容纳和约束数据手套的开关阵列、控制器、扬声器、麦克风、电池、语音采集模块、显示模块、网络模块。

在本实施例中，图10中以虚线为界，右侧上部装置包括：网络模块、控制器、语音采集模块、麦克风、电池、手套和扬声器；右侧下部装置包括：开关阵列、显示模块、控制器、网络模块、电池和手套；左侧装置包括语音识别模块和语音合成模块。

右侧上部装置的控制器与右侧下部装置的控制器通过网络模块进行无线通信。

第十种实施例中开关阵列、控制器、网络模块、语音采集模块、语音合成模块、语音识别模块、显示模块、麦克风、电池、手套和扬声器的实现方法与第七种实施例的实现方法相同。

第十种实施例的与聋哑人双向交流的发声手套装置在工作时，采用以下工作步骤：

当聋哑人使用手套装置向正常人发送信息时，手套装置按以下步骤运行：

步骤1：控制器采集开关阵列按键序列的按键值，同时将按键序列的按键值输出到显示模块上显示，并将对应的可选汉字输出到显示模块上显示；

步骤2：通过选择按下显示控制器上的汉字所对应的按键；

步骤3：控制器将所选汉字的编码发送到右侧下部装置的网络模块；

步骤4：右侧下部装置的网络模块通过右侧上部装置的网络模块将汉字编码发送到语音合成模块；

步骤5：语音合成模块进行语音合成，将合成的语音数据发送到右侧上部装置的网络模块；

步骤6：右侧上部装置的网络模块通过右侧下部装置的网络模块将语音数据发送到控制器；

步骤7：控制器将语音数据发送到语音采集模块，语音采集模块将语音数据转换为音频电信号，并驱动扬声器发声；

步骤8：控制器将汉字编码或汉字编码对应的汉语拼音发送到显示模块上显示。

当聋哑人使用手套装置接收正常人说话时，手套装置按以下步骤运行：

步骤1：语音采集模块采集正常人说话的声音信号，并转换为音频电信号，再转换为音频数据，发送到控制器；

步骤2：控制器将音频数据发送到右侧上部装置的网络模块；

步骤3：右侧上部装置的网络模块将音频数据发送到语音识别模块；

步骤4：语音识别模块进行语音识别，将识别结果发回右侧上部装置的网络模块；

步骤5：右侧上部装置的网络模块识别结果发送到右侧上部装置的控制器；

步骤6：右侧上部装置的控制器将识别结果通过网络模块发送右侧下部装置的控制器；

步骤7：右侧下部装置的控制器将识别结果发送到显示模块显示。

应当注意，为了使本发明的实施方式更容易理解，上面的描述省略了对于本领域的技术人员来说是公知的、并且对于本发明的实施方式的实现可能是必需的更具体的一些技术细节。例如，上面的描述省略了对音频数据采集、语音识别、语音合成等的一般性描述。上述说明仅仅是示意性的而不是限制性的。

提供本发明的说明书是为了说明和描述，而不是用来穷举或将本发明限制为所公开的形式。对本领域的普通技术人员而言，许多修改和变更都是可以的。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种与聋哑人双向交流的发声手套装置，包括：

开关阵列，用于测量手指不同区域以及手掌之间的接触情况；

倾角传感器，用于测量手掌的倾角；

控制器，用于采集开关阵列和倾角传感器数据，对数据进行处理，并控制语音合成及发声合成过程，将显示信息发送到显示模块，还用于接收语音采集模块的音频数据，控制将音频数据发送到语音识别模块进行语音识别，接收语音识别模块返回的语音识别信息，将语音识别信息显示在显示模块上；

显示模块，用于显示发声数据、语音识别信息和工作状态；

网络模块，用于实现手套装置的网络通信；

语音采集模块，用于采集声音信号，转换为音频电信号，形成音频数据，还用于将音频数据转换为音频电信号并驱动扬声器发声；

语音合成模块，用于将控制器发出的文本转换为语音信号，还用于驱动扬声器发声；

麦克风：用于实现将声音信号转换为音频电信号；

通信模块，用于在控制器之间建立无线数据通信；

扬声器，用于将音频电信号转换为声音信号；

语音识别模块，用于对音频数据进行语音识别；

电池，用于对倾角传感器、语音合成模块、控制器、通信模块、显示模块、网络模块、语音识别模块、语音采集模块和开关阵列供电；

手套，用于在空间上容纳和约束数据手套的开关阵列、倾角传感器、控制器、通信模块、语音合成模块、语音识别模块、语音采集模块、扬声器、麦克风、电池、通信模块、显示模块、网络模块。

2.根据权利要求1所述的手套装置，其特征在于，所述通信模块、网络模块和倾角传感器，在手套装置中，分别配置为有，或分别配置为无。

3.根据权利要求1所述的手套装置，其特征在于，所述语音识别模块与手套集成为一体，或独立放置；当语音识别模块与手套集成为一体时，由电池供电；当语音识别模块独立放置时，语音识别模块自身独立供电。

4.根据权利要求1所述的手套装置，其特征在于，所述语音合成模块与手套集成为一体，或独立放置；当语音合成模块与手套集成为一体时，还用于驱动扬声器发声，由电池供电；当语音合成模块独立放置时，语音合成模块自身独立供电。

5.根据权利要求1所述的手套装置，其特征在于，所述开关阵列由安装在手指不同部位、或手掌不同部位的两个及两个以上的开关组成，可以测量大拇指与其他手指不同区域、或与手掌不同区域的接触情况。

6.根据权利要求1所述的数据手套，其特征在于，所述倾角传感器安装于手套的手掌部位或手背部位。

7.根据权利要求1所述的手套装置，其特征在于，所述控制器对数据进行处理，是将采集的开关阵列和倾角传感器数据进行编码，再将该编码译码为一个具有音调的汉语拼音所对应的汉字的编码。

8.根据权利要求1所述的手套装置，其特征在于，当语音合成模块与手套集成为一体时，将控制器发出的文本转换为语音信号，并驱动扬声器发声；当语音合成模块独立放置时，语音合成模块输出的音频数据，通过网络发送到网路模块，再由控制器读入并转发到语音采集模块，语音采集模块将音频数据转换为音频电信号并驱动扬声器发声。

9.根据权利要求1所述的手套装置，其特征在于，聋哑人使用手套装置向正常人发送信息时，手套装置按以下步骤运行：

控制器采集倾角传感器的角度，控制器同时采集开关阵列按键值；

控制器将采集的开关阵列和倾角传感器数据进行编码，再将该编码译码为一个具有音调的汉语拼音所对应的汉字的编码；

控制器将汉字编码发送到语音合成模块，语音合成模块进行语音合成，并驱动扬声器发声，或语音合成模块将合成的音频数据发送给控制器，控制器再将音频数据发送给语音采集模块，语音采集模块驱动扬声器发声；

控制器将汉字编码或汉字编码对应的汉语拼音发送到显示模块上显示。

10.根据权利要求1所述的手套装置，其特征在于，聋哑人使用手套装置接收正常人说话时，手套装置按以下步骤运行：

语音采集模块采集正常人说话的声音信号，并转换音频电信号，再转换为音频数据，发送到控制器；

控制器将音频数据发送到语音识别模块进行语音识别；

语音识别模块将识别结果发回到控制器；

控制器将识别结果发送到显示模块显示。