CN107230414A - 一种基于单片机的手语识别翻译系统 - Google Patents

一种基于单片机的手语识别翻译系统 Download PDF

Info

Publication number
CN107230414A
CN107230414A CN201710454199.9A CN201710454199A CN107230414A CN 107230414 A CN107230414 A CN 107230414A CN 201710454199 A CN201710454199 A CN 201710454199A CN 107230414 A CN107230414 A CN 107230414A
Authority
CN
China
Prior art keywords
module
sign language
data
wireless communication
data processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710454199.9A
Other languages
English (en)
Inventor
孙永
林国铭
林伟鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University of Technology
Original Assignee
Tianjin University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University of Technology filed Critical Tianjin University of Technology
Priority to CN201710454199.9A priority Critical patent/CN107230414A/zh
Publication of CN107230414A publication Critical patent/CN107230414A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters

Abstract

一种基于单片机的手语识别翻译系统，包括手套（1），其特征还在于手套（1）内的主控模块（2），与主控模块（2）相连的角度传感器（3）、弯曲度传感器（4）、血氧传感器（5）、显示模块（6）、无线通讯模块（7），与无线通讯模块（7）相连的数据处理模块（8），与数据处理模块（8）相连的WiFi模块（9）、云服务端（10）、语音模块（11）以及电源模块（12）。本发明主要实现了聋哑人与普通人之间无障碍的交流，通过传感器将手语进行翻译，并将翻译的结果显示在系统搭载的显示屏中，同时采用普通话播报手语翻译的结果，除此之外，还可以将病患者的身体状况信息（心率、脉搏、体温等）实时通过云服务端发送到医生的手机或者计算机等使医生能够实时监测病患者的身体状况。

Description

一种基于单片机的手语识别翻译系统
技术领域
本发明涉及一种基于单片机的手语识别翻译系统，是基于身患重病的人健康状况不稳定，出院之后由于医生不在身边，不能实时得到病患者的身体状况数据，给病患者带来不可挽回的伤害。为此我们决定制作一个服务于医生能够实时监测到病患者身体状况数据的作品。为了更加全面的服务于社会中的某些特殊人群，我们还研究了聋哑人，根据全国统计局的最新统计，我国有2700多万的聋哑患者，并且新出生的聋哑儿以每年3万多例的速度在增加。所以，我们扼要解决的问题是让聋哑人们能顺利的表达他们的想法，为他们减轻先天不足带来的不便，也让非聋哑人很好的理解聋哑人的手语，使我们的社会更加温馨和谐，为此我们还加入了能够让聋哑人与普通人之间无碍交流的手语翻译功能，残疾人不仅能与医生无碍交流，还能与普通人进行无碍交流。使得我们的作品能够全面的服务于社会。属于远程医疗领域和聋哑人社交领域。
背景技术
目前在一些发达地区，例如美国和西欧等国家，他们在远程医疗系统的实施发展速度比较快，它们基本是通过卫星和综合业务数据网来进行数据通信，并在远程咨询、会诊、远程会议、军事医学和一些医学数据的远距离传输等方面取得了不错的成果。而我国在远程医疗系统这一领域的研究状况相对而言是比较落后的，到目前为止，国内的远程会诊还是以传统的电话线以及卫星通信网络为主要通信方式。近几年来，随着传感器和无线通信技术的迅速发展，基于无线技术的医疗监护系统成为人们的研究热点。在手语方面，传统的手语识别包括基于视觉的手语识别和基于数据手套的手语识别。其中，基于视觉的手语识别通过数字摄像设备获取人的手部图像，对获取的图像进一步的处理，进而识别出相应的手语信息。基于视觉的方法之优点是价格较低和投入成本小，但是容易受到光照及背景等因素的影响，且目前这种方法识别的手语还不够精确。因此，为了解决以上所述的问题，本发明提供了一种基于单片机的手语识别翻译系统。
发明内容
本发明所要解决的技术问题是：一种基于单片机的手语识别翻译系统，本发明主要实现了聋哑人与普通人之间无障碍的交流，通过传感器将手语进行翻译，并将翻译的结果显示在系统搭载的显示屏中，同时采用普通话播报手语翻译的结果，除此之外，还可以将病患者的身体状况信息（心率、脉搏、体温等）实时通过云服务端发送到医生的手机或者计算机等使医生能够实时监测病患者的身体状况。
本发明所要解决的技术方案是：一种基于单片机的手语识别翻译系统，包括手套（1），其特征还在于手套（1）内的主控模块（2），与主控模块（2）相连的角度传感器（3）、弯曲度传感器（4）、血氧传感器（5）、显示模块（6）、无线通讯模块（7），与无线通讯模块（7）相连的数据处理模块（8），与数据处理模块（8）相连的WiFi模块（9）、云服务端（10）、语音模块（11）以及电源模块（12）。
所述的手套（1）采用普通型布料缝制而成。
所述的主控模块（2）选用目前主流ARM STM32F103RCT6作为手语数据采集的主控制器，其的优势在于低功耗、低成本、高性能的3者结合。
所述的角度传感器（3）选用MPU6050角度传感器，该传感器内部整合了3轴陀螺仪和3轴加速度传感器，并且含有一个第二IIC接口，可用于连接外部磁力传感器，并利用自带的数字运动处理器（DMP: Digital Motion Processor）硬件加速引擎，通过主IIC 接口，向应用端输出完整的融合演算数据，接口方便使用；运用其固体库DMP内部的运动引擎，直接输出四元数，可以减轻外围微处理器的工作负担且避免了繁琐的滤波和数据融合，通过四元数计算出俯仰角、横滚角和航向角以及角加速度，因此能在三维空间获取运动轨迹及起落点角度，及时捕获运动方向变化的数据。
所述的弯曲度传感器（4）选用一种柔韧性弯曲传感器，该款传感器在发生弯曲时，它的导通电阻发生变化，通过电阻值的变化实现了识别手指的弯曲度，能够准确反映手指弯曲情况。
所述的血氧传感器（5）选用的是MAX-30100血氧传感，这是一个光学传感器。其读数来自两个LED发射的两个LED发出波长的光，及红色和红外。发射的光线可透过人体内的单组织点。先由响应红色和红外光线的单个光电二极管接收光线，然后由互阻放大器产生正比于接收光强的电压。红色和红外LED通常采用时间复用的方式，因此相互间不会干扰。环境光线经估计将从每个红色和红外光线中扣除。测量点包括手指、脚趾和耳垂。MAX-30100还内置了体温传感器，只需直接读取检测温度数字。
所述的显示模块（6）采用0.9寸OLED液晶屏，即有机发光二极管屏，其具备轻薄、亮度高、省电、显示精度高、功耗低等特点。OLED在电路中作为弯曲度传感器和角度传感器采集回来数据的显示功能，方便数据的参考和后续程序算法处理，以及显示心率、血氧饱和度、体温。
所述的无线通讯模块（7）采用采用的芯片是NRF24L01，该芯片通过SPI与外部MCU通信，最大的SPI速度可以达到10Mhz。
所述的数据处理模块（8）选用微控制器STM32F407作为数据处理核心，STM32F407将手势动作数据和人体生理信号进行分离，分为两部分做处理，第一部分：手势动作数据经过处理后再结合语音模块进行语音播报，完成了手语翻译。第二部分：人体生理信号经过处理后，通过WIFI模块将数据（心率、血氧饱和度、体温、步数、消耗卡路里）发送到云服务端。
所述的WiFi模块（9）选用的是ESP8266一款超低功耗的UART-WiFi透传模块，可将用户的物理设备连接到Wi-Fi无线网络上，进行互联网或局域网通信，实现联网功能。硬件接口丰富，可支持UART，IIC，PWM，GPIO，ADC等，适用于各种物联网应用场合。
所述的云服务端（10）是基于yeelink的一个物联网的云端服务器，能将单片机采集到的数据上传并保存到yeelink云端，也能经过yeelink进行远程控制，只需要下载yeelink对应的APP，就能实时远程监控用户的身体状况。
所述的语音模块（11）采用一款高集成度的语音合成芯片XFS5152CE，可实现中文、英文语音合成；并集成了语音编码、解码功能，可支持用户进行录音和播放；除此之外，还创新性地集成了轻量级的语音识别功能，支持30个命令词的识别。将不同的手势动分别对应不同的语音信号和控制信号。做出相应的手势时通过串口，将对应的手语数据送往功放模块发出相应的语音信号和控制信号。
所述的电源模块（12）用于给整个系统供电，保证各个模块的正常运行；为了提供大容量电量且稳定输出的电压，持久使用，且满足小型化，方便携带的要求，故采取了锂电池供电方式。而一般的锂电池输出电压为5V，为此，我们使用AMS1117-3.3V低压差稳压电路芯片稳压成3.3V工作电压提供芯片以及各个模块的使用，实现电量足、供电稳定的目的。
本发明的主要功能是可以独立地完成手势和动作的数据采集和处理等工作，并确保主控制器接收到的数据是准确、完整与可靠的，因此本发明具有以下特点。
1.完整性
（1）手语数据是根据国际标准聋哑人使用手语语言录入的，任何情况下保证不能丢失原始数据。系统通过采集手势动作、处理、传输等环节，再调用原来主控制器存储的原始手语数据，同时通过语音系统播报或控制外围设备，实现功能的完整性；
（2）通过max30100血氧心率的工作原理，得到原数据后，便可计算出人体的血氧心率以及体温，检测结果准确稳定。
2.及时性
（1）数据手套能实现及时捕获手势变化的数据，快速算法处理，并准确传输，及时正确的输出，具有不失误的及时性；
（2）当每次检测心率血氧和体温时，系统会自动的把数据上传到云端，快速准确不容易丢失数据。
3.灵活性
（1）本系统手套可以实现手语翻译播报、实时数据共享等功能，语音播报可以是音响，也可以是耳机，视使用者需要而定；
（2）无创测量血氧饱和度，还有测量心率和体温。随时随地就能知道自己的身体健康状况，方便又灵活。
4.安全性
系统的原始数据已存储于主控制器的存储器中，不易人为修改，并且不会因为掉电而丢失，完善的保安措施。整个系统由4.7V以下的低电压供电工作的，完全不存安全隐患，而设计也满足了安全可靠和美观易用的追求。
5.实用性
（1）系统设计的新型多功能手套，通过内部专用的传感器捕获手势姿态并配备国际标准聋哑人专用手语姿势，实现戴上手套做手语姿势，并能通过耳机或播音器播报让非聋哑人准确的理解手语翻译语音；
（2）传统的组织血氧饱和度测量方法是有创测量,且很难做到连续测量,因此研究一种无创、连续测量血氧饱和度的方法具有重要意义。该系统无创测量,既减轻了病人的痛苦,又可以实时监控,具有低成本、结构合理、制作简单、安全可靠等优点,满足了临床监护的需求。
附图说明
图1是本发明的整体结构图。
附图标记：（1）手套，（2）主控模块，（3）角度传感器，（4）弯曲度传感器，（5）血氧传感器，（6）显示模块，（7）无线通讯模块，（8）数据处理模块，（9）WiFi模块，（10）云服务端，（11）语音模块，（12）电源模块。
具体实施方式
下面结合附图和实例对本发明作进一步说明。
如图1所示，一种基于单片机的手语识别翻译系统，包括手套（1），其特征还在于手套（1）内的主控模块（2），与主控模块（2）相连的角度传感器（3）、弯曲度传感器（4）、血氧传感器（5）、显示模块（6）、无线通讯模块（7），与无线通讯模块（7）相连的数据处理模块（8），与数据处理模块（8）相连的WiFi模块（9）、云服务端（10）、语音模块（11）以及电源模块（12）。
本发明不仅提高了聋哑人与普通人的沟通能力，帮助聋哑人更好的融入到社会生活中，还可以监测人体温度、脉搏、血氧饱和度等生命体征参数，为人体生命体征健康监测及疾病诊断的有力手段，对实现疾病的监测、个性化治疗以及生命搜救具有重要的意义。
本发明具有以下创新点：
（1）应用新兴的物联网技术，利用云端实现数据的远程交互，实现远程监控；
（2）数据手套能及时捕获手势变化的数据，减少了冗余数据，快速算法处理，提高了识别效率和识别正确率，有效的解决了关节和手指差异混淆问题；
（3）采用无线传输，无需连接电脑，具有便携性、高可靠性、操作方便；
（4）采用无创血氧饱和度检测技术；
（5）通过音响或者耳机为不懂手语的人用普通话进行手语翻译；
（6）预留了对外传输数据接口，可用于远程机器人控制，通过手势对机器人的远程控制等；
（7）采用3D打印技术制造机械结构；
（8）电池采用大容量的锂电池，轻巧安全，持久耐用。
显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明的保护范围。

Claims (1)

1.一种基于单片机的手语识别翻译系统，包括手套（1），其特征还在于手套（1）内的主控模块（2），与主控模块（2）相连的角度传感器（3）、弯曲度传感器（4）、血氧传感器（5）、显示模块（6）、无线通讯模块（7），与无线通讯模块（7）相连的数据处理模块（8），与数据处理模块（8）相连的WiFi模块（9）、云服务端（10）、语音模块（11）以及电源模块（12）。
CN201710454199.9A 2017-06-16 2017-06-16 一种基于单片机的手语识别翻译系统 Pending CN107230414A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710454199.9A CN107230414A (zh) 2017-06-16 2017-06-16 一种基于单片机的手语识别翻译系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710454199.9A CN107230414A (zh) 2017-06-16 2017-06-16 一种基于单片机的手语识别翻译系统

Publications (1)

Publication Number Publication Date
CN107230414A true CN107230414A (zh) 2017-10-03

Family

ID=59936040

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710454199.9A Pending CN107230414A (zh) 2017-06-16 2017-06-16 一种基于单片机的手语识别翻译系统

Country Status (1)

Country Link
CN (1) CN107230414A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108062163A (zh) * 2017-12-15 2018-05-22 青岛大学 基于传感器接口多样化的数据手套
CN109034093A (zh) * 2018-08-10 2018-12-18 成都理工大学 一种快速动态手语识别算法的设计与实现

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103578329A (zh) * 2013-10-25 2014-02-12 西安理工大学 手语翻译智能装置及其使用方法
CN104432711A (zh) * 2014-11-04 2015-03-25 深圳市鼎芯无限科技有限公司 智能手套及其使用方法
CN204791666U (zh) * 2015-05-13 2015-11-18 郑州大学 一种便携式智能手语翻译装置
CN205158728U (zh) * 2015-11-19 2016-04-13 陆庆健 一种手语翻译系统
CN206003392U (zh) * 2016-05-18 2017-03-08 福州大学 一种聋哑人社交手套

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103578329A (zh) * 2013-10-25 2014-02-12 西安理工大学 手语翻译智能装置及其使用方法
CN104432711A (zh) * 2014-11-04 2015-03-25 深圳市鼎芯无限科技有限公司 智能手套及其使用方法
CN204791666U (zh) * 2015-05-13 2015-11-18 郑州大学 一种便携式智能手语翻译装置
CN205158728U (zh) * 2015-11-19 2016-04-13 陆庆健 一种手语翻译系统
CN206003392U (zh) * 2016-05-18 2017-03-08 福州大学 一种聋哑人社交手套

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108062163A (zh) * 2017-12-15 2018-05-22 青岛大学 基于传感器接口多样化的数据手套
CN109034093A (zh) * 2018-08-10 2018-12-18 成都理工大学 一种快速动态手语识别算法的设计与实现

Similar Documents

Publication Publication Date Title
CN105078450B (zh) 一种可实现脑电检测的健康服务机器人
CN105078445B (zh) 基于健康服务机器人的老年人健康服务系统
CN204192596U (zh) 智能健康监护仪
CN105082149B (zh) 一种可实现血氧饱和度检测的健康服务机器人
CN105249943A (zh) 一种智能衣服控制系统及其控制方法
CN202843595U (zh) 基于rfid识别的远程血压/脉率/血氧监测智能终端装置
KR20160105396A (ko) 애플리케이션들과 연관된 배터리 충전기
CN202875315U (zh) 基于物联网的随身血压/脉率/血氧监测定位智能终端
CN105310686A (zh) 一种可实现心电检测的健康服务机器人
CN106108878A (zh) 一种用于健康监测的智能手表
CN107518880A (zh) 一种体征监测手环
CN107230414A (zh) 一种基于单片机的手语识别翻译系统
CN203493623U (zh) 一种生理参数采集终端
CN201453280U (zh) 一种移动通讯终端
Fang et al. The 3AHcare node: Health monitoring continuously
CN106983503A (zh) 一种便携式血压监护仪
CN103860154A (zh) 基于磁感应的非接触可穿戴式心肺活动监测装置
CN210673328U (zh) 人体特征采集装置、设备、设备保护壳、系统
CN101588405A (zh) 运动姿态调制血糖手机及在线专家诊断系统
CN206197937U (zh) 一种便携式心电监测用三导联佩戴装置
CN204971270U (zh) 一种可实现心电检测的健康服务机器人
Teja et al. A smart wearable system for ecg and health monitoring
CN101138489A (zh) 远程随身健康实时诊测系统及其使用方法
CN107692986A (zh) 自助体检一体机
CN210749179U (zh) 一种分布式监护系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20171003