CN101430603A - 一种便携实用型手语识别发声装置 - Google Patents
一种便携实用型手语识别发声装置 Download PDFInfo
- Publication number
- CN101430603A CN101430603A CNA2008102290412A CN200810229041A CN101430603A CN 101430603 A CN101430603 A CN 101430603A CN A2008102290412 A CNA2008102290412 A CN A2008102290412A CN 200810229041 A CN200810229041 A CN 200810229041A CN 101430603 A CN101430603 A CN 101430603A
- Authority
- CN
- China
- Prior art keywords
- finger
- voltage signal
- gloves
- acceleration
- ring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
一种便携实用型手语识别发声装置，由手指弯曲度采集手套、单片机，语音电路三部分组成，其中手指弯曲度采集手套根据手指的动作将由手指弯曲程度产生的电压信号和手运动的加速度产生的电压信号传送给单片机的模拟输入端口，单片机将由手指弯曲程度产生的电压信号和手运动的加速度产生的电压信号进行处理模拟到数字的转换，对转换得到的数字信号进行数据处理，给出当前手语种类信息，进而驱动语音电路进行发声。本发明将有助于改善和提高聋哑残疾人的生活学习和工作条件，使正常人可以为他们提供更好的服务，也能够使得聋哑人，尤其是使得文化程度比较低的聋哑人，使用手语和正常人交流。
Description
技术领域
本发明属于机器人技术领域，特别是涉及一种便携实用型手语识别发声装置。
背景技术
手语是聋哑残疾人使用的语言。它是由手形动作辅之以表情姿势而构成的比较稳定的表达系统，是一种靠动作和视觉进行交际的特殊语言。然而，手语是一个庞大而复杂的语言系统，让大多数正常人掌握并应用手语直接与聋哑残疾人进行交流显然是不现实的。目前聋哑人与正常人之间的沟通仅仅限于以懂手语的正常人做翻译等手段，在很大程度上限制了不懂手语的正常人对聋哑残疾人的理解，给聋哑残疾人日常生活、工作和学习带来极大的不便。
本发明将有助于改善和提高聋哑残疾人的生活学习和工作条件，使正常人可以为他们提供更好的服务，也能够使得聋哑人，尤其是使得文化程度比较低的聋哑人，使用手语和正常人交流。
发明内容
为了帮助聋哑人和正常人之间更好地进行交流，本发明提供一种便携实用型手语识别发声装置。
该装置由手指弯曲度采集手套、单片机，语音电路三部分组成，其中手指弯曲度采集手套的电压信号连接单片机的模拟输入端口，语音电路的SPI接口连接单片机的SPI接口。
手指弯曲度采集手套包括手套、第一环、第二环、金属丝、滑动变阻器、弹簧、套绳和加速度传感器，其中在手套的每个手指上面靠近手指尖部固定第一环，靠近手指根部固定第二环，一根金属丝依次连接第一环、第二环、滑动变阻器滑动端子和弹簧，滑动变阻器固定在手套上，金属丝外包裹套绳，套绳固定在第一环和第二环处，在手套的手背上安装加速度传感器。
语音电路采用可以存储多段事先录制的语音片段的语音芯片电路。
单片机对采集到的每个手指的模拟电压信号进行模拟到数字转换，得到数字化的手指弯曲信息，并通过对加速度模拟信号的模拟，在进行模拟到数字转换得到手运动的数字化加速度信息，单片机对每个手指弯曲度采集信息和加速度变化信息进行记录，然后和预先定义手指弯曲度采集的对应信息进行比较，找出和当前手指弯曲度采集信号和加速度信号最相近的预先定义的手势种类，然后驱动发音电路给出对应声音信号。单片机的控制方法按如下步骤进行A、初始化语音电路和模拟数字转换器；B、分别采集由大拇指、食指、中指、无名指、小指的弯曲程度产生的电压信号；C、采集手运动的加速度产生的电压信号；D、将大拇指、食指、中指、无名指、小指产生的电压信号、手运动的加速度产生的电压信号分别与预先定义的手势信号进行作差然后将差值求平方和进行比对；E、找出与大拇指、食指、中指、无名指、小指产生的电压信号、手运动的加速度产生的电压信号相差的平方和的值最小的一个预先定义的手势信号；F、驱动语音电路，给出符合手势种类的声音。
本发明的工作原理是当聋哑人带上手套做手语手势时，手指处于弯曲状态，而此时由于金属丝在第一环处固定，同时金属丝可在固定于手指中部关节和第二环处的套绳中自由移动，故此时第一环和第二环之间的金属丝被拉长，此时弹簧处于伸长状态，只要手指处于弯曲状态，第一环和第二环之间的金属丝长度就不会恢复到自然状态，而此时由于金属丝被拉长，滑动变阻器的滑动端子亦同时沿着金属丝伸长的方向滑动，改变了滑动变阻器的阻值，从而滑动变阻器的滑动端子和滑动变阻器一端之间的电压也出现了变化，再将此电压信号输入单片机，单片机对采集到的每个手指的模拟电压信号进行模拟到数字转换，得到数字化的手指弯曲信息，并通过对加速度传感器输出的模拟信号的模拟到数字转换得到手运动的数字化加速度信息，单片机对每个手指弯曲度采集的信息和加速度变化信息进行记录，然后和预先定义的手势的对应信息进行比较，找出和当前手指弯曲度采集最相近的预先定义手指弯曲度采集，然后驱动语音电路给出对应声音信号。
本发明将有助于改善和提高聋哑残疾人的生活学习和工作条件，使正常人可以为他们提供更好的服务，也能够使得聋哑人，尤其是使得文化程度比较低的聋哑人，使用手语和正常人交流。
附图说明
图1是手指处于自然状态示意图；
图2是手指处于弯曲状态示意图；
图3是手指弯曲度采集手套及加速度传感器的示意图；
图4是单片机电路原理图；
图5是手指弯曲度采集手套电路图；
图6是语音电路图。
图1中：1 第一环，2 第二环，3 金属丝，4 滑动变阻器滑动端子，5 滑动变阻器，6 套绳，7 弹簧；
图3中：8加速度传感器、9手套。
具体实施方式
该装置由手指弯曲度采集手套、单片机C8051F026，语音电路ISD4004三部分组成，其中手指弯曲度采集手套的电压信号连接单片机的模拟输入端口，语音电路的SPI接口连接单片机的SPI接口。
手指弯曲度采集手套如图1、图2和图3所示在手指弯曲度采集手套包括手套9、第一环1、第二环2、金属丝3、滑动变阻器5、弹簧7、套绳6和加速度传感器8，其中在手套9的每个手指上面靠近手指尖部固定第一环1，靠近手指根部固定第二环2，一根金属丝依次连接第一环1、第二环2、滑动变阻器滑动端子4和弹簧7，滑动变阻器5固定在手套9上，金属丝3外包裹套绳6，套绳6固定在第一环1和第二环2处，在手套9的手背上安装加速度传感器8。加速度传感器8的型号为MMA7260QT。
单片机电路和手指弯曲度采集手套电路的连接如图4、图5所示手指弯曲度采集手套电路的THUMB接口和单片机电路的THUMB接口相连，手指弯曲度采集手套电路的FOREFINGER接口和单片机电路的FOREFINGER接口相连，手指弯曲度采集手套电路的MIDDLEFINGER接口和单片机电路的MIDDLEFINGER接口相连，手指弯曲度采集手套电路的RINGFINGER接口和单片机电路的RINGFINGER接口相连，手指弯曲度采集手套电路的LITTLEFINGER接口和单片机电路的LITTLEFINGER接口相连，手指弯曲度采集手套电路的ACCERLATE_X接口和单片机电路的ACCERLATE_X接口相连，手指弯曲度采集手套电路的ACCERLATE_Y接口和单片机电路的ACCERLATE_Y接口相连，手指弯曲度采集手套电路的ACCERLATE_Z接口和单片机电路的ACCERLATE_Z接口相连
单片机电路和语音电路的连接如图4、图6所示单片机电路的SPI_SCK接口和语音电路的SCLK接口相连，单片机电路的MISO接口和语音电路的MISO接口相连，单片机电路的MOSI接口和语音电路的MOSI接口相连，单片机电路的NSS接口和语音电路的CS接口相连。单片机电路中芯片U2的20脚连接到语音电路的INT端口。
程序流程如下：
1、初始化ISD4004语音电路；
2、初始化模拟数字转换器；
3、采集大拇指弯曲度的电压信号；
4、采集食指弯曲度的电压信号；
5、采集中指弯曲度的电压信号；
6、采集无名指弯曲度的电压信号；
7、采集小指弯曲度的电压信号；
8、采集手运动的加速度的电压信号；
9、将大拇指、食指、中指、无名指、小指产生的电压信号、手运动的加速度产生的电压信号分别与预先定义的手势信号进行作差然后将差值求平方和进行比对；
10、找出与大拇指、食指、中指、无名指、小指产生的电压信号、手运动的加速度产生的电压信号相差的平方和的值最小的一个预先定义的手势信号；
11、驱动语音电路，给出符合手势种类的声音；
12、转步骤3。
Claims (3)
1、一种便携实用型手语识别发声装置，包括语音电路、单片机和手指弯曲度采集手套，其特征在于：手指弯曲度采集手套根据手指的动作将由手指弯曲程度产生的电压信号和手运动的加速度产生的电压信号传送给单片机的模拟输入端口，单片机将由手指弯曲程度产生的电压信号和手运动的加速度产生的电压信号进行模拟信号到数字信号的转换，对转换得到的数字信号进行数据处理，给出当前手语种类信息，进而驱动语音电路进行发声。
2、根据权利要求1所述的一种便携实用型手语识别发声装置，其特征在于手指弯曲度采集手套包括手套、第一环、第二环、金属丝、滑动变阻器、弹簧、套绳和加速度传感器，其中在手套的每个手指上面靠近手指尖部固定第一环，靠近手指根部固定第二环，一根金属丝依次连接第一环、第二环、滑动变阻器滑动端子和弹簧，滑动变阻器固定在手套上，金属丝外包裹套绳，套绳固定在第一环和第二环处，在手套的手背上安装加速度传感器。
3、权利要求1所述的便携实用型手语识别发声装置的控制方法，其特征在于：按如下步骤进行A、初始化语音电路和模拟数字转换器；B、分别采集由大拇指、食指、中指、无名指、小指的弯曲程度产生的电压信号；C、采集手运动的加速度产生的电压信号；D、将大拇指、食指、中指、无名指、小指产生的电压信号、手运动的加速度产生的电压信号分别与预先定义的手势信号进行作差然后将差值求平方和进行比对；E、找出与大拇指、食指、中指、无名指、小指产生的电压信号、手运动的加速度产生的电压信号相差的平方和的值最小的一个预先定义的手势信号；F、驱动语音电路，给出符合手势种类的声音。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNA2008102290412A CN101430603A (zh) | 2008-11-26 | 2008-11-26 | 一种便携实用型手语识别发声装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNA2008102290412A CN101430603A (zh) | 2008-11-26 | 2008-11-26 | 一种便携实用型手语识别发声装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN101430603A true CN101430603A (zh) | 2009-05-13 |
Family
ID=40646024
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNA2008102290412A Pending CN101430603A (zh) | 2008-11-26 | 2008-11-26 | 一种便携实用型手语识别发声装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101430603A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101794528A (zh) * | 2010-04-02 | 2010-08-04 | 北京大学软件与微电子学院无锡产学研合作教育基地 | 一种手语语音双向翻译系统 |
| CN102063824A (zh) * | 2009-11-17 | 2011-05-18 | 刘保龙 | 一种便携手语自动翻译系统 |
| CN102096467A (zh) * | 2010-12-28 | 2011-06-15 | 赵剑桥 | 光反射式移动手语识别系统及手指弯曲测量方法 |
| CN102402291A (zh) * | 2011-12-07 | 2012-04-04 | 北京盈胜泰科技术有限公司 | 一种肢体姿势识别方法及装置 |
| CN102426477A (zh) * | 2011-08-09 | 2012-04-25 | 广东科学中心 | 一种手势侦测方法及侦测装置 |
| CN103049761A (zh) * | 2013-01-21 | 2013-04-17 | 中国地质大学（武汉） | 基于手语手套的手语识别方法及系统 |
| CN103760967A (zh) * | 2013-09-29 | 2014-04-30 | 中山大学 | 一种手指弯曲度avatar控制传感器件 |
| WO2015116008A1 (en) * | 2013-11-07 | 2015-08-06 | Bavunoglu Harun | System of converting hand and finger movements into text and audio |
| CN106448351A (zh) * | 2016-10-31 | 2017-02-22 | 天津工业大学 | 智能手语手套 |
| CN109124641A (zh) * | 2018-06-27 | 2019-01-04 | 邹可权 | 一种智能手语感知手套及其制造工艺 |
| CN109300368A (zh) * | 2018-11-28 | 2019-02-01 | 浙江理工大学 | 一种语音式手语交流系统及方法 |
-
2008
- 2008-11-26 CN CNA2008102290412A patent/CN101430603A/zh active Pending
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102063824A (zh) * | 2009-11-17 | 2011-05-18 | 刘保龙 | 一种便携手语自动翻译系统 |
| CN101794528B (zh) * | 2010-04-02 | 2012-03-14 | 北京大学软件与微电子学院无锡产学研合作教育基地 | 一种手语语音双向翻译系统 |
| CN101794528A (zh) * | 2010-04-02 | 2010-08-04 | 北京大学软件与微电子学院无锡产学研合作教育基地 | 一种手语语音双向翻译系统 |
| CN102096467A (zh) * | 2010-12-28 | 2011-06-15 | 赵剑桥 | 光反射式移动手语识别系统及手指弯曲测量方法 |
| CN102096467B (zh) * | 2010-12-28 | 2013-04-03 | 赵剑桥 | 光反射式移动手语识别系统及手指弯曲测量方法 |
| CN102426477A (zh) * | 2011-08-09 | 2012-04-25 | 广东科学中心 | 一种手势侦测方法及侦测装置 |
| CN102402291A (zh) * | 2011-12-07 | 2012-04-04 | 北京盈胜泰科技术有限公司 | 一种肢体姿势识别方法及装置 |
| CN103049761B (zh) * | 2013-01-21 | 2016-08-03 | 中国地质大学（武汉） | 基于手语手套的手语识别方法及系统 |
| CN103049761A (zh) * | 2013-01-21 | 2013-04-17 | 中国地质大学（武汉） | 基于手语手套的手语识别方法及系统 |
| CN103760967A (zh) * | 2013-09-29 | 2014-04-30 | 中山大学 | 一种手指弯曲度avatar控制传感器件 |
| DE212014000212U1 (de) | 2013-11-07 | 2016-06-13 | Elif Saygi Bavunoglu | System der Umwandlung von Hand- und Fingerbewegungen in Text und Ton |
| WO2015116008A1 (en) * | 2013-11-07 | 2015-08-06 | Bavunoglu Harun | System of converting hand and finger movements into text and audio |
| US10319257B2 (en) | 2013-11-07 | 2019-06-11 | Harun Bavunoglu | System of converting hand and finger movements into text and audio |
| CN106448351A (zh) * | 2016-10-31 | 2017-02-22 | 天津工业大学 | 智能手语手套 |
| CN109124641A (zh) * | 2018-06-27 | 2019-01-04 | 邹可权 | 一种智能手语感知手套及其制造工艺 |
| CN109300368A (zh) * | 2018-11-28 | 2019-02-01 | 浙江理工大学 | 一种语音式手语交流系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101430603A (zh) | 一种便携实用型手语识别发声装置 | |
| CN102063825B (zh) | 一种基于数据手套的手语识别装置 | |
| JP6507419B2 (ja) | 訓練支援装置及び訓練支援方法 | |
| CN105190578A (zh) | 用于基于手势控制的组合肌肉活动传感器信号和惯性传感器信号的方法和设备 | |
| CN107678550A (zh) | 一种基于数据手套的手语手势识别系统 | |
| Zhang et al. | Recognizing hand gestures with pressure-sensor-based motion sensing | |
| Adnan et al. | Measurement of the flexible bending force of the index and middle fingers for virtual interaction | |
| Xu et al. | A prosthetic arm based on EMG pattern recognition | |
| AU2021234183B2 (en) | Intraoral device control system | |
| CN107204141A (zh) | 穿戴式盲文阅读设备 | |
| CN105446485A (zh) | 基于数据手套和位置跟踪仪的人手运动功能捕捉系统及方法 | |
| Chapman et al. | A wearable, open-source, lightweight forcemyography armband: on intuitive, robust muscle-machine interfaces | |
| CN113871028A (zh) | 一种基于肌电智能穿戴的交互式康复系统 | |
| CN103295570A (zh) | 一种手套式发声系统 | |
| CN208061137U (zh) | 一种手语翻译手套及控制系统 | |
| CN204765638U (zh) | 表面肌电信号数据采集系统 | |
| Wu et al. | A wireless surface EMG acquisition and gesture recognition system | |
| CN103720528A (zh) | 实用有感觉的假手 | |
| Arozi et al. | Electromyography (EMG) signal recognition using combined discrete wavelet transform based on artificial neural network (ANN) | |
| CN116909390A (zh) | 基于手套的多模态数据采集系统 | |
| CN110362190B (zh) | 基于myo的文本输入系统及方法 | |
| CN112883935A (zh) | 一种神经网络实时手语翻译系统设备 | |
| Beauchamp et al. | HD-sEMG for Human Interfacing Devices | |
| Yang et al. | Fully Flexible Smart Gloves and Deep Learning Motion Intention Prediction for Ultra-low Latency VR Interactions | |
| Verma et al. | HANDTALK: Interpreter for the Differently Abled: A Review |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C12 | Rejection of a patent application after its publication | ||
| RJ01 | Rejection of invention patent application after publication |
Open date: 20090513 |