CN107067892A - 多信息融合手语翻译系统 - Google Patents

Abstract

一种多信息融合手语翻译系统,以树莓派、Arduino为基础主控件，通过系统的挠性传感器检测手指弯曲度，同时利用MPU6050姿态检测模块，识别手的运动状态，进而推算出手部以及肘部的姿势，最后利用语音模块，将语言进行表达。同时脑电波采集模块，采集大脑发出的α波和β波，计算出大脑的注意力集中度专注度以及情绪，使语音播报时带有人的情感，使表达生动、人性化。

Description

多信息融合手语翻译系统

技术领域

本发明涉及一种多信息融合手语翻译系统。

背景技术

从目前市场来看手语翻译系统作品以及设计较少，也不尽完善，而且价格普遍偏高，不利于市场化。现有的视频电话手语翻译辅助装置是一种手语影像提示装置，它由三个机构组成：手语影像接收机构，其用以接收手语影像；显示机构，其显示由所述手语影像接收机构接收的手语影像；及眼前固定机构，其将所述显示机构固定于聋哑者眼前；在所述聋哑者目视辨认外界时，可同时目视辨认由所述手语影像接收机构接收的手语影像。此应用对不懂手语者帮助不大，且不易携带。人机交互翻译工具：手语使用者只需对着手机或电脑摄像头做出手势，该工具就可以立即基于数据库将其翻译成文本。主要通过OpenCV对影像进行识别处理及解算，但摄像头识别手势准确度难以保证，且成本高昂。

总体来说，现在国内手语翻译机器发展很慢，没有得到发展，急需一种便携、经济、使用的手语翻译机器来帮助听力语言障碍者沟通。且我们的发明增加了脑电波识别和一键求救系统，在价格不改变的情况下，更加人性化，更方便听力语言障碍者使用，产品一定会具有广阔的发展前景。

发明内容

本发明的目的是针对国内大量的听力语言障碍者，以及极少的手语翻译人员的现状，提供一种多信息融合手语翻译系统。

本发明所述系统工作原理为：利用开源硬件Arduino进行嵌入式开发，利用应变电阻原理，自制了数根长条形挠性传感器，检测手指弯曲度的变化，实现电阻会的变化，在外部进行一个比较性电压输入，将采集到的AD值返回到单片机之中，利用10位精度的AD采集，采集的范围可以达到0—1024，达到了一个宽范围精度，之后定点进行电压值采集，弯曲30°，45°，50°，60°，90°等多组采值，然后利用MATLAB进行数据拟合，使采集到的值成一个线性关系，并把它写入程序之中。之后进行分类处理。所谓分类处理，就是将双手、手肘、手部高度几个关键要素进行分开处理。通过使用MPU6050模块，检测手部以及肘部的姿态，分量化处理，使数据得到尽量精确的表达，利用NRF24L01建立的区域性网络将数据返回至主机—树莓派。树莓派是一种基于ARM内核的卡片式微型电脑，经过处理，数据能够在上位机上进行显示，并通过语音模块将语句进行播放。脑电波作为我们的辅助模块，前沿性地将感情融入语言表达，使产品更具人性化。

本发明所述系统结构包括挠性传感器部分、MPU6050模块部分、Arduino主控器部分、蓝牙部分、树莓派部分、GPS模块部分、脑电波传感器部分、一键求救系统、NRF24L01无线模块部分、及语音模块部分；

所述挠性传感器部分，由感压材料和胶带组成；所述感压材料是一款带有炭黑成分的材料并具有压阻效应的材料，其作用是感应压力的变化，其数据稳定，跳变较少。

所述MPU6050模块部分，内部整合了3轴陀螺仪和3轴加速度传感器，并且含有一个第二IIC接口，可用于连接外部磁力传感器，它自身可利用自带的数字运动处理器硬件加速引擎DMP，通过主IIC接口，向应用端输出完整的9轴融合演算数据，可以利用DMP达到使用开源的运动处理资料库的目的，实现姿态解算，降低运动处理运算对操作系统的负荷，同时MPU6050自带数字运动处理器DMP，再结合MPU6050的嵌入式运动驱动库，可以将原始数据直接转换成四元数输出，得到四元数之后，可以得到欧拉角，利用欧拉角就可以得到实时的手的姿态。

所述Arduino主控器部分，包含各种型号Arduino板的硬件和Arduino IDE软件，硬件部分可以用来做电路连接的Arduino电路板；软件部分，相当于计算机中的程序开发环境，只要在IDE中编写程序代码，将程序上传到Arduino电路板后，程序便会将指令传递给Arduino电路板。

所述蓝牙部分用来进行数据交换；

所述树莓派部分，是一款基于ARM的微型电脑主板，以SD/MicroSD卡为内存硬盘，卡片主板周围有1/2/4个USB接口和一个10/100 以太网接口（A型没有网口），可连接键盘、鼠标和网线，同时拥有视频模拟信号的电视输出接口和HDMI高清视频输出接口，负责数据传输及处理。在与nrf24L01模块建立局域网后，可以实现智能互联。

所述脑电波传感器部分，是通过两个干电极传感器采集频率，一个置于额头采集电压变化，另外一个置于左耳用为基准电压，将采集到的频率初值，编写python程序，对初值进行傅里叶转换，变换成频域的分析。不同种类脑电波对应不同情绪变化，从而控制语音播报的情绪。

所述一键求救系统，包括按键、求救程序、GPS模块和GSM模块。求救系统数据转换依靠MK60DN512ZVLL10型单片机，该芯片有100个引脚，采用LQFP封装，外接GPS和GSM通讯模块，并独立供电，其CPU频率为100MHz,内核为ARM Corlex-M4,具有32通道的DMA用于与外设进行数据传输。Corlex-M4内核针是ARM对经典单片机应用而设计，具有成本低、功耗小、中断响应快、处理效率高等特点。

所述NRF24L01无线模块部分，是一款工作在2.4GHZ～2.5GHZ的ISM频段的单片机无线收发器芯片，具有体积小、工作电压宽、工作温度范围大、能耗低等特点，所述NRF24L01无线模块部分具有126个通讯通道，6个数据通道，适合与各种MCU连接。

所述语音模块部分，核心为SYN6288语音芯片的利用；SYN6658通过UART接口或SPI接口通讯方式，接收待合成的文本数据，实现文本到语音或TTS语音的转换；主控制器和SYN6658语音合成芯片之间通过UART接口或SPI接口连接，控制器可通过通讯接口向SYN6658语音合成芯片发送控制命令和文本，SYN6658语音合成芯片把接收到的文本合成为语音信号输出，输出的信号经功率放大器进行放大后连接到喇叭进行播放。

线长度变化方向运动为:通过转动收放PE纤维线，弹簧也实现压缩和回正，从而实现雨刮杆的伸缩。

所述STC89C51型单片机核心控制电路包括晶振电路，电源VCC_5V，单片机按键复位电路。

本系统工作流程：

听力语言障碍者带上翻译系统做手势：

挠性传感器采集手部弯曲度程度，传递电阻变化信号；

Arduino接收信号，进行手部数据的初步分析和处理；

MPU6050模块进行手部角度和方向的数据解析；

蓝牙将Arduino处理的数据发送到树莓派和上位；

树莓派经手部的多种数据按照拟合曲线进行解读；

脑电波传感器进行脑电波的采集和分析；

NRF24L01无线模块，局域网的搭建；

语音模块播放翻译后的语言。

如果使用者在遇到危险时，通过按键触发了一键求救系统，GPS模块进行全球定位，GSM模块发送短GPS和关键信息到手机，MK60DN512ZVLL10单片机控制GPS模块和GSM模块的信息处理。

工作流程功能：

自制压电阻传感器不仅价格低廉，实现了较大的AD值采集幅度，而且跳变较少，比较稳定；

脑电波这一前沿科技融入其中，在手语表达之中融入感情；

通信模块采用nrf24L01模块，使整个用户身上的产品连接成一个局域网，从而使产品更加轻便，实现真正的智能互联；

搭载的“赫尔墨斯”一键求助模块，可以帮助语言障碍者在危险发生时一键求助，及时将信息发送给自己的亲友，达到防灾避害的作用。而且功耗低，体积小，成本不高，可以随身携带，适合广泛普及。

本发明的有益效果：

完成作品的相关组件均进行长时间的测试，例如MPU6050，此模块经过智能车比赛的长期检验，完全可以胜任这一工作。各个模块均可靠搭建，基本不会出现硬件相关问题。Arduino是一款便捷灵活、方便上手的开源电子原型平台。模仿蚁群的工作方式将各个部件组成一个局域网，将不方便处理的数据进行集中的集成化处理，并结合上位机进行相关的调试和使用。

同时独特的脑电波采集、NRF24L01通信网络的建设、“赫尔墨斯”一键求助模块均为本发明的亮点。

附图说明

图1为系统硬件结构图；

图2为系统程序流程图；

图3为SYN6658程序运作及硬件流程图；

图4为“赫尔墨斯”硬件连接简图；

图5为“赫尔墨斯”一键求救模块程序流程图。

具体实施方式

结合附图说明如下：

一种带有情绪识别语音播报一键求助功能的手语翻译系统。包括挠性传感器部分、MPU6050模块部分、Arduino主控器部分、蓝牙部分、树莓派部分、GPS模块部分、脑电波传感器部分、一键求救系统、NRF24L01无线模块部分、及语音模块部分。

所述挠性传感器部分，由感压材料和胶带组成。感压材料是一款带有炭黑成分的材料，它具有压阻效应的材料，它的作用是感应压力的变化，经测试，其数据稳定，跳变较少。

所述MPU6050模块部分，内部整合了3轴陀螺仪和3轴加速度传感器，并且含有一个第二IIC接口，可用于连接外部磁力传感器，它自身可利用自带的数字运动处理器硬件加速引擎DMP，通过主IIC接口，向应用端输出完整的9轴融合演算数据。可以利用DMP达到使用开源的运动处理资料库的目的，实现姿态解算，降低了运动处理运算对操作系统的负荷，大大降低了开发难度。同时MPU6050自带了数字运动处理器DMP，再结合MPU6050的嵌入式运动驱动库，就可以将原始数据直接转换成四元数输出，得到四元数之后，就可以得到欧拉角，利用欧拉角就可以得到实时的手的姿态。模块具有体积小，便于安装的优点。

所述Arduino主控器部分，包含硬件（各种型号的Arduino板）和软件（ArduinoIDE)。硬件部分可以用来做电路连接的Arduino电路板；软件部分，相当于计算机中的程序开发环境，只要在IDE中编写程序代码，将程序上传到Arduino电路板后，程序便会将指令传递给Arduino电路板。

所述蓝牙部分用来进行数据交换。

所述树莓派部分，是一款基于ARM的微型电脑主板，以SD/MicroSD卡为内存硬盘，卡片主板周围有1/2/4个USB接口和一个10/100 以太网接口（A型没有网口），可连接键盘、鼠标和网线，同时拥有视频模拟信号的电视输出接口和HDMI高清视频输出接口，负责数据传输及处理。在与nrf24L01模块建立局域网后，可以实现智能互联。

所述脑电波传感器部分，是通过两个干电极传感器采集频率，一个置于额头采集电压变化，另外一个置于左耳用为基准电压，将采集到的频率初值，编写python程序，对初值进行傅里叶转换，变换成频域的分析。不同种类脑电波对应不同情绪变化，从而控制语音播报的情绪。

所述一键求救系统，包括按键、求救程序、GPS模块和GSM模块。求救系统数据转换主要依靠MK60DN512ZVLL10型单片机，该芯片有100个引脚，采用LQFP封装，外接GPS和GSM通讯模块，并独立供电，其CPU频率为100MHz,内核为ARM Corlex-M4,具有32通道的DMA用于与外设进行数据传输。Corlex-M4内核针是ARM对经典单片机应用而设计，具有成本低、功耗小、中断响应快、处理效率高等特点。

所述NRF24L01无线模块部分，是一款工作在2.4GHZ～2.5GHZ的ISM频段的单片机无线收发器芯片，具有体积小、工作电压宽、工作温度范围大、能耗低等特点。具有126个通讯通道，6个数据通道，适合与各种MCU连接。

所述语音模块部分，核心为SYN6288语音芯片的利用。SYN6658通过UART接口或SPI接口通讯方式，接收待合成的文本数据，实现文本到语音（或TTS语音）的转换。主控制器和SYN6658语音合成芯片之间通过UART接口或SPI接口连接，控制器可通过通讯接口向SYN6658语音合成芯片发送控制命令和文本，SYN6658语音合成芯片把接收到的文本合成为语音信号输出，输出的信号经功率放大器进行放大后连接到喇叭进行播放。

线长度变化方向运动。通过转动收放PE纤维线，弹簧也实现压缩和回正，从而实现雨刮杆的伸缩；

所述STC89C51型单片机核心控制电路包括，晶振电路，电源VCC_5V，单片机按键复位电路。

Claims (10)

1.一种多信息融合手语翻译系统,其特征在于,所述系统结构包括挠性传感器部分、MPU6050模块部分、Arduino主控器部分、蓝牙部分、树莓派部分、GPS模块部分、脑电波传感器部分、一键求救系统、NRF24L01无线模块部分、及语音模块部分。

2.根据权利要求1所述的一种多信息融合手语翻译系统,其特征在于,所述挠性传感器部分，由感压材料和胶带组成；所述感压材料是一款带有炭黑成分的材料并具有压阻效应的材料。

3.根据权利要求1所述的一种多信息融合手语翻译系统,其特征在于,所述MPU6050模块部分，内部整合了3轴陀螺仪和3轴加速度传感器，并且含有一个第二IIC接口，用于连接外部磁力传感器，它自身可利用自带的数字运动处理器硬件加速引擎DMP，通过主IIC接口，向应用端输出完整的9轴融合演算数据，利用DMP达到使用开源的运动处理资料库的目的，实现姿态解算，降低运动处理运算对操作系统的负荷，同时MPU6050自带数字运动处理器DMP，再结合MPU6050的嵌入式运动驱动库，将原始数据直接转换成四元数输出，得到四元数之后，得到欧拉角，利用欧拉角就能得到实时的手的姿态。

4.根据权利要求1所述的一种多信息融合手语翻译系统,其特征在于,所述Arduino主控器部分，包含各种型号Arduino板的硬件和Arduino IDE软件，硬件部分用来做电路连接的Arduino电路板；软件部分，相当于计算机中的程序开发环境，只要在IDE中编写程序代码，将程序上传到Arduino电路板后，程序便会将指令传递给Arduino电路板。

5.根据权利要求1所述的一种多信息融合手语翻译系统,其特征在于,所述蓝牙部分用来进行数据交换；所述树莓派部分，是一款基于ARM的微型电脑主板，以SD/MicroSD卡为内存硬盘，卡片主板周围有1/2/4个USB接口和一个10/100 以太网接口,A型没有网口，连接键盘、鼠标和网线，同时拥有视频模拟信号的电视输出接口和HDMI高清视频输出接口，负责数据传输及处理，在与nrf24L01模块建立局域网后，实现智能互联。

6.根据权利要求1所述的一种多信息融合手语翻译系统,其特征在于,所述脑电波传感器部分，是通过两个干电极传感器采集频率，一个置于额头采集电压变化，另外一个置于左耳用为基准电压，将采集到的频率初值，编写python程序，对初值进行傅里叶转换，变换成频域的分析，不同种类脑电波对应不同情绪变化，从而控制语音播报的情绪。

7.根据权利要求1所述的一种多信息融合手语翻译系统,其特征在于,所述一键求救系统，包括按键、求救程序、GPS模块和GSM模块；求救系统数据转换依靠MK60DN512ZVLL10型单片机，该芯片有100个引脚，采用LQFP封装，外接GPS和GSM通讯模块，并独立供电，其CPU频率为100MHz,内核为ARM Corlex-M4,具有32通道的DMA用于与外设进行数据传输。

8.根据权利要求1所述的一种多信息融合手语翻译系统,其特征在于,所述NRF24L01无线模块部分，是一款工作在2.4GHZ～2.5GHZ的ISM频段的单片机无线收发器芯片，所述NRF24L01无线模块部分具有126个通讯通道，6个数据通道，适合与各种MCU连接。

9.根据权利要求1所述的一种多信息融合手语翻译系统,其特征在于,所述语音模块部分，核心为SYN6288语音芯片的利用；SYN6658通过UART接口或SPI接口通讯方式，接收待合成的文本数据，实现文本到语音或TTS语音的转换；主控制器和SYN6658语音合成芯片之间通过UART接口或SPI接口连接，控制器可通过通讯接口向SYN6658语音合成芯片发送控制命令和文本，SYN6658语音合成芯片把接收到的文本合成为语音信号输出，输出的信号经功率放大器进行放大后连接到喇叭进行播放；

线长度变化方向运动为:通过转动收放PE纤维线，弹簧也实现压缩和回正，从而实现雨刮杆的伸缩。

10.根据权利要求1所述的一种多信息融合手语翻译系统,其特征在于,所述STC89C51型单片机核心控制电路包括晶振电路，电源VCC_5V，单片机按键复位电路。