CN213339665U - 腕表式语言辅助交流器 - Google Patents

Abstract

本实用新型公开了一种适用于阿尔茨海默症患者的腕表式语言辅助交流器。它包括语音输入模块、陀螺仪、无线通信模块以及中心处理器，陀螺仪和无线通信模块均直接连接中心处理器，语音输入模块经过一个能够对输入的语言信息进行识别的语音识别模块连接中心处理器，中心处理器能够对通过语音识别模块识别的语言信息和通过陀螺仪识别的肢体信息进行对比后经过无线通信模块输出处理信息获得相应的表达信息。其优点在于：可以有效准确地识别阿尔茨海默症患者的语言并输出，可以更好地挖掘在阿尔兹海默症患者的语言识别方面的潜力，从而实现了失语患者辅助交流，来帮助语言障碍患者方便地像普通人群体一样去表达自己的意图。

Description

腕表式语言辅助交流器

技术领域

本实用新型涉及一种语言辅助交流器，具体地说是一种适用于阿尔茨海默症患者的腕表式语言辅助交流器。

背景技术

随着智能手表系统网络和服务平台的构建、大数据、人工智能技术的成熟，智能手表目前可实现运动监测、连接手机通讯、定位、录音摄像、肢体动作识别的功能，其中，智能手语翻译手表就是利用加速计与陀螺仪传感器对人体行为的识别，如人类的一系列手部、胳膊、面部表情以及头部的动作反应到相关传感器的幅度向量中，但是对于那些脑外伤或痴呆症造成的失语患者，无法准确控制自己的肢体行为和面部表情，则无法实现动作到语言的翻译转换，无法进行正常的人际交流，这是老年用户市场上智能手表的一大缺憾。

阿尔茨海默症患者临床上以记忆减退、言语障碍、行为异常为主要特征，会导致进行性言语失调甚至失语，给患者的家庭生活、人际交往等带来了极大的困难，长期以来，面对青少年群体的智能手表和手语翻译器占据了大部分市场，而对于老年痴呆患者的日常交流设备却非常少见。

发明内容

本实用新型要解决的技术问题是提供一种通过搭建一种硬件平台能够实现失语患者辅助交流的腕表式语言辅助交流器。

为了解决上述技术问题，本实用新型的腕表式语言辅助交流器，包括用于接收外部语言信息的语音输入模块、用于识别人体肢体行为的陀螺仪、能够进行无线通信传输的无线通信模块以及用于对信息进行处理的中心处理器，所述陀螺仪和无线通信模块均直接连接中心处理器，所述语音输入模块经过一个能够对输入的语言信息进行识别的语音识别模块连接中心处理器，所述中心处理器能够对通过语音识别模块识别的语言信息和通过陀螺仪识别的肢体信息进行对比并处理后经过无线通信模块输出处理信息获得相应的表达信息。

所述中心处理器还与一个存储器连接，所述存储器能够存储输入到中心处理器内的语言和肢体信息。

所述中心处理器还与一个电源连接。

所述语音输入模块、陀螺仪、无线通信模块、存储器、中心处理器以及电源均安置在一个外壳内，所述外壳上设置有为电源进行充电的充电接口，所述外壳嵌入一个表带内。

所述外壳上设置有与中心处理器进行通讯连接的控制按钮以及显示单元，所述控制按钮能够向中心控制器输入控制指令，所述显示单元能够对中心处理器处理后的信息进行显示。

所述中心处理器还与一个语音播放模块连接，所述语音播放模块同样安置在外壳内。

所述无线通信模块为蓝牙模块、WIFI 模块或移动通信模块。

所述中心处理器经过无线通信模块与外部的智能终端通讯连接。

本实用新型的优点在于：

通过由语音输入模块、陀螺仪、无线通信模块、存储器以及中心处理器搭建的硬件平台，将阿尔茨海默症患者的语言信息经过语音输入模块输入后再通过语音识别模块进行识别并建立模型库，还通过存储器进行存储，与此同时，阿尔茨海默症患者伴随的肢体动作通过陀螺仪进行识别，通过中心处理器对两种信息进行常规的分析对比后，建立起了一种对应关系，这种对应关系可以有效准确地识别阿尔茨海默症患者的语言并输出，可以更好地挖掘在阿尔兹海默症患者的语言识别方面的潜力，从而实现了失语患者辅助交流，来帮助语言障碍患者方便地像普通人群体一样去表达自己的意图。

附图说明

图1为本实用新型腕表式语言辅助交流器的原理框图；

图2为本实用新型中语音识别的原理框图；

图3为本实用新型中中心处理器和蓝牙模块电路原理图；

图4为本实用新型中加速度传感器电路原理图；

图5为本实用新型中马达电路原理图

图6为本实用新型中充电电路模块电路原理图。

具体实施方式

下面结合附图和具体实施方式，对本实用新型的腕表式语言辅助交流器作进一步详细说明。

如图所示，本实用新型的腕表式语言辅助交流器，包括用于接收外部语言信息的语音输入模块、用于识别人体肢体行为的陀螺仪、能够进行无线通信传输的无线通信模块以及用于对输入的信息进行处理的中心处理器，当然，还有必不可少的常规的加速度传感器以及马达等，优选为线形马达，线性马达控制复杂，采用了DRV2605驱动芯片，DRV2605驱动芯片与MCU通过I2C总线通信，陀螺仪型号为MPU6050，还包括一个与中心处理器连接并能够用于存储输入到中心处理器内的语言和肢体信息的存储器以及一个与中心处理器连接的电源，陀螺仪、加速度传感器和无线通信模块均直接连接中心处理器，语音输入模块经过一个能够对输入的语言信息进行识别的语音识别模块连接中心处理器，使用者可以利用麦克风进行语音输入，所说的无线通信模块为蓝牙模块、WIFI 模块或移动通信模块，具体地说其采用的中心处理器为集成BLE蓝牙4.0协议的MCU（nRF51822芯片），使用LIS3DH作为加速度传感器进行运动监测，MCU集成在电路板上，电路板上还具有与锂电池通讯连接的信号为BQ24040的为充电芯片，充电电压的输入端的TVS管（D2）用于静电保护，齐纳二极管（D3）用于反插保护，语音输入模块、陀螺仪、无线通信模块、存储器、中心处理器以及电源均安置在一个外壳内，外壳上设置有为电源进行充电的充电接口，所说的电源可以采用锂电池，外壳嵌入一个表带内，中心处理器能够对通过语音识别模块识别的语言信息和通过陀螺仪识别的肢体信息进行对比后经过无线通信模块输出处理信息获得相应的表达信息，外壳上设置有与中心处理器进行通讯连接的控制按钮以及显示单元，控制按钮能够向中心控制器输入控制指令，显示单元能够对中心处理器处理后的信息进行显示。

进一步地，所说的中心处理器还与一个语音播放模块（扬声器）连接，语音播放模块同样安置在外壳内，中心处理器经过无线通信模块与外部的智能终端通讯连接，智能终端为平板电脑或智能手机，中心处理器将语音语言信息和/或肢体信息通过无线通信模块发送至外部的智能终端，智能终端对语音语言信息和/或肢体信息进行接收后通过智能终端上的应用程序可以向中心处理器输入控制指令，例如采用停顿检测算法（可以采用天津科技大学孙志伟团队的“一种基于重要点的时间序列分段算法）来分割输入序列，并根据分段后数据长度来选择相应的模型进行推断，使用双向ＬＳＴＭ网络学习到的上下文信息可以进一步提高对患者语言的识别效果，由此能够对老年痴呆患者语言特征的总结和语言资源的挖掘提供可能性。

在使用时，老年用户佩戴该手表（手环）后，当阿尔茨海默症患者通过内置的麦克风向中心处理器输入指令时，实现语言数据的采集，中心处理器经过语音识别模块对语音进行识别，本实施例中可以采用两个独立的识别模型来分别进行单个词语识别和句子级别的语篇识别，然后将输入的信息转换并存储相对应的数据库，以便能够调取指令，另外，如果阿尔茨海默症患者伴随着肢体动作，陀螺仪可以采集动作信息同样经过处理存储到数据库中，然后中心处理器可以调用存储的数据信息将信息采用常规的数据分析进行比对后得到较为准确的指令信息输出，形成可识别的语言，当存储的信息量越多，从而可以形成大数据分析，分析的结果也就越准确，解决了失语患者无法准确交流的问题，在对信息进行处理过程中，对收集的语言数据将首先进行预处理，该方法主要的原理为使用antconc去除原始语言数据中的噪音、重复结巴部分，筛选语言信息焦点部分（实义动词、名词、情态词），从而提取患者语言信息特征如常用句、指示代词、话语标记等，同时对伴随的肢体动作进行信息采集，之后使用相应的模型进行比对和解析，将数据对应为文字的形式，通过文本——语音转换软件转换为语音（由ＴＴＳ技术将文字转变为语音输出），由此让对方听懂患者所要表达的意义。

通过上述结构设计，通过内置的麦克风等声音传感器高精度感知、精确识别并自动纪录说话者的语音，并验证能够通过模型高精度地对传感器语音数据进行分类，当说话者连续的话语引入了大量语句，识别的计算速度需要达到实时的要求，从而构建出一个语言规模足够大，涵盖广泛的授予数据集，采用的模型训练和模型参数选取算法，基于双向ＲＮＮ的深度神经网络模型，利用深度神经网络从预处理后的语言数据中提取说话人的常用于、话语标记和语言偏好，基于双向ＬＳＴＭ／ＳＲＵ与ＣＴＣ，构建了第一种端到端的语言识别功能，开发语言识别应用，直接运行在患者佩戴的腕表上，可以直接将患者所要表达的信息文本，通过ＴＴＳ系统转换为语音，成为痴呆患者等语言障碍人士与外界沟通的一个辅助交流媒介，由此巧妙地利用了语言分析模块对语言的分析处理与肢体动作的硬件结合来实现患者的准确表达效果，可以更好地挖掘在阿尔兹海默症患者的语言识别方面的潜力，来帮助语言障碍患者方便地像普通人群体一样去表达自己的意图。

当然，上述说明并非是对本实用新型的限制，本实用新型也并不仅限于上述举例，本技术领域的技术人员在本实用新型的实质范围内所做出的变化、改型、添加或替换，也应属于本实用新型的保护范围。

Claims (8)

1.一种腕表式语言辅助交流器，其特征在于：包括用于接收外部语言信息的语音输入模块、用于识别人体肢体行为的陀螺仪、能够进行无线通信传输的无线通信模块以及用于对信息进行处理的中心处理器，所述陀螺仪和无线通信模块均直接连接中心处理器，所述语音输入模块经过一个能够对输入的语言信息进行识别的语音识别模块连接中心处理器，所述中心处理器能够对通过语音识别模块识别的语言信息和通过陀螺仪识别的肢体信息进行对比并处理后经过无线通信模块输出处理信息获得相应的表达信息。

2.按照权利要求1所述的腕表式语言辅助交流器，其特征在于：所述中心处理器还与一个存储器连接，所述存储器能够存储输入到中心处理器内的语言和肢体信息。

3.按照权利要求1或2所述的腕表式语言辅助交流器，其特征在于：所述中心处理器还与一个电源连接。

4.按照权利要求3所述的腕表式语言辅助交流器，其特征在于：所述语音输入模块、陀螺仪、无线通信模块、存储器、中心处理器以及电源均安置在一个外壳内，所述外壳上设置有为电源进行充电的充电接口，所述外壳嵌入一个表带内。

5.按照权利要求4所述的腕表式语言辅助交流器，其特征在于：所述外壳上设置有与中心处理器进行通讯连接的控制按钮以及显示单元，所述控制按钮能够向中心控制器输入控制指令，所述显示单元能够对中心处理器处理后的信息进行显示。

6.按照权利要求1、2、4或5所述的腕表式语言辅助交流器，其特征在于：所述中心处理器还与一个语音播放模块连接，所述语音播放模块同样安置在外壳内。

7.按照权利要求6所述的腕表式语言辅助交流器，其特征在于：所述无线通信模块为蓝牙模块、WIFI 模块或移动通信模块。

8.按照权利要求7所述的腕表式语言辅助交流器，其特征在于：所述中心处理器经过无线通信模块与外部的智能终端通讯连接。

Images