CN102306464A - 单手便携式语言交流在线装置 - Google Patents

单手便携式语言交流在线装置 Download PDF

Info

Publication number
CN102306464A
CN102306464A CN201110222695A CN201110222695A CN102306464A CN 102306464 A CN102306464 A CN 102306464A CN 201110222695 A CN201110222695 A CN 201110222695A CN 201110222695 A CN201110222695 A CN 201110222695A CN 102306464 A CN102306464 A CN 102306464A
Authority
CN
China
Prior art keywords
speech
finger
push
hand
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201110222695A
Other languages
English (en)
Inventor
许宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201110222695A priority Critical patent/CN102306464A/zh
Publication of CN102306464A publication Critical patent/CN102306464A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明公开了单手便携式语言交流在线装置,它包括单手操作套、控制器(13)、语音存储器(14)、语音播放器(15),其单手操作套单手操作套由手套、按键、扫描电路(11)、传输器(12)组成,单手操作套与控制器(13)相连接,控制器(13)连接语音存储器(14)和语音播放器(15),其控制器(13)接收单手操作套感知的信息,并依据内置的算法识别出按压动作类型,生成对应的操作码和语音地址码,再根据语音地址码从语音存储器(14)中取出相应的语音音频文件传送给语音播放器(15),同时控制语音播放器(15)进行语音音频文件的播放。该装置能够使聋哑残疾人获得经济实用、操作简便的语音交流装置。

Description

单手便携式语言交流在线装置
技术领域
聋哑残疾人和健全人之间的语言交流至关重要,且是个难题。本发明正是针对聋哑人的语言交流提出了一种经济实用、使用方便的在线交流装置,特别是单手操作的便携式的语言交流在线装置。
背景技术
《2006年第二次全国残疾人抽样调查主要数据公报(第一号)》(第二次全国残疾人抽样调查领导小组、中华人民共和国国家统计局,2006年12月1日)显示,我国各类残疾人总数达8296万人,占到全国人口的6.34%。其中听力残疾2004万人(占残疾人总数的24.16%),言语残疾127万人(占残疾人总数的1.53%)。另有数据表明,我国聋哑症的发病率约为2‰,每年有2000万新生儿出生,每年新增有听力损害的约3万余人。
由于聋哑人与普通人交流的困难,极易使其在学习、生活、工作和心理等各方面产生一系列的问题。例如有的聋哑人自闭、自卑,对他人不信任,感情比较淡薄;少部分聋哑人有自残或者暴力倾向等。提高和改善聋哑人与普通人群的交流能力,是促进聋哑人形成正常人格的关键。
聋哑人的医疗和康复研究也始终是学术界研究的热点问题。诸如:对可治疗耳聋的多种针灸疗法;对人工耳蜗的无创植入技术;加强聋哑大学生心理健康教育和心理咨询工作;佩戴助听器增强听力等等。然而,毫无疑问的是,不论聋哑人出现何种问题,其根本而有效的解决途径在于实现聋哑人和健全人群的有效的信息交流,即实现聋哑人“正常的沟通”需求至关重要。
手语是聋哑人和正常人群之间较为有效的传统交流手段,长期以来受到许多聋哑人和相关人士的青睐,不少学者对手语的改进、应用和学习进行了深入研究。诸如:从语句表达和构词法两方面对聋哑人的手语和正常人群的汉语进行了比较;分析手语学习方法等。
手语的出现和推广对促进聋哑人和正常人群之间的交流有一定的作用,但是,手语难学习、难记忆、难掌握、难理解,我国多数聋哑人不具备手语能力,而懂手语的正常人只有极少数,依靠手语多数聋哑人和正常人群的信息交流问题并不能真正有效解决。虽然现在出现了一些技术:对手语及面部表情送入计算机识别之后转换成文字,也可将文字合成为手语和图像,国内外都有学者在研究,但一般基于微机平台,体积大,功能复杂,不能随身携带,语音识别和语音合成技术无论是理论还是实践都还需要有较大的发展,因此实用性不很理想。针对聋哑人交流需求最终实现廉价、方便和有效的交流辅助手段,一时还难以出现。
也有研究聋哑人使用的辅助发声装置,借助语音识别、语音合成技术来解决聋哑人和正常人交流中存在的障碍问题,但受语音识别和语音合成的技术局限和发展的瓶颈,价格低廉便携式的聋哑人无障碍交互设备关键技术难以走向实用。也有手持式语音系统的出现,该系统操作简单并且携带方便,能将聋哑人需要表达的信息转化为语音发出,但必需通过触摸屏来选择一些常用的话语,或现场编辑,反应慢,成本高。
“代码式口语语音输出系统”(申请号:00101404.8)公布了一种电子语音输出系统,只是对常用的词语按使用频率按顺序编码,再通过手臂上的数字小键盘输入这个顺序码,调用需播放的对应的音频数字信息。结构简单,但操作不方便,需要牢固记忆编码和相应的口语内容,播放的口语有限,使用场合局限。
“便携式语言交流器”(申请号:ZL02252772.9)提供一种语言交流的便携式装置,原理简单、实用。只是针对语言不相通的人群,需要较高成本的较复杂的自动翻译软件或装置来实现。
为了提高聋哑人自主辨识语义的能力,基于数字信号处理技术设计了依靠多通道带通滤波的皮肤听声器,试图在于不依赖于人耳的任何残余听力并能从根本上解决聋人的听力问题,但可靠性和抗干扰方面还有很多问题。还有的提出了一种语音信号的可视化方法,根据基于小波变换的时频分析方法来模拟基底膜带通滤波器的特性,从而把语音特征信息转换为视觉信息,作为辅助聋哑人进行语音训练的系统。美国的“蓝色巨人”IBM公司开发出了一种名为Via Scribe的技术,该技术是一种语音到文本的转换技术,它可以在演讲或讲课过程中为演讲或课堂即时加注字幕,也可以对讲稿进行及时的录入,以便在演讲或课后对相应的讲稿进行进一步完善和修改。在结合相应的PPT、音频、视频文件之后,快速的制作出用于e-1earning的材料。目前IBM中国信息无障碍中心、IBM中国软件开发中心正在与北京联合大学特殊教育学院合作,利用这种语音识别技术在相应的聋哑人学校搭建无障碍的教学和授课环境。
由于以上研究都体现在现有的聋哑人辅助语音系统上,主要是基于语音识别将正常人的语音信息转换为聋哑人可以感知的信号(例如皮肤的震动),同时利用语音合成技术,将聋哑人的表达信息转换为语音发送给正常人群。这些技术普遍不够成熟,实现成本高、使用不方便。
研制一种聋哑人能快速简便易学的语音按键输入、便携式的、低成本的、在线语音交互装置是非常必要的,同时也可以作为不同语言交流障碍者应急使用。
本发明提出了一种便携式语言交流在线装置,只利用聋哑残疾人单个手的不同动作,由不同的按压动作类型产生相应的语音地址码,再通过语音播放系统播放相应的语音地址对应存储的语音音频文件。此装置经济实用、携带方便,特别是低成本设计使其具有很好的应用前景。
发明内容
针对现有技术的聋哑人的语音交流装置的局限,本发明的单手便携式语言交流在线装置提出了一种简易的单手操作的语音调用、语音播放系统,能够使聋哑残疾人获得经济实用、操作简便的在线播放的语音交流装置。
本发明的单手便携式语言交流在线装置,包括单手操作套、控制器、语音存储器、语音播放器,其单手操作套与控制器相连接,控制器连接语音存储器和语音播放器,其控制器接收单手操作套感知的信息,并依据内置的算法,识别出按压动作类型,生成对应的操作码和语音地址码,再根据语音地址码从语音存储器中取出相应的语音音频文件传送给语音播放器,控制器控制语音播放器进行语音音频文件的播放。
本发明的单手便携式语言交流在线装置的单手操作套,由手套、按键、扫描电路、传输器组成,按键固定并分布在手套上,各个按键和扫描电路相连接,扫描电路连接传输器,传输器连接着控制器,所有按键都固定并分布在手套上的与手的主动按压部位和被动按压部位相对应的位置上的各个小块面积内,各小块面积内布置和容纳了各自独立的一个或多个按键,各传输器有线方式或无线方式连接控制器。
本发明的单手便携式语言交流在线装置的一个按压动作类型只生成对应的一个操作码,一个操作码可翻译成相应的一个或多个语音地址码。
本发明的单手便携式语言交流在线装置的按压动作类型决定于按压位置、按压方式、按压时间。
本发明的单手便携式语言交流在线装置的按压方式有手指按压、手掌按压、握拳按压,按压动作的作用时间划分在不同时间区段内。
本发明的单手便携式语言交流在线装置,语音存储器中存储的每一个语音音频文件对应一个语音地址码。
本发明的单手便携式语言交流在线装置,力求在聋哑残疾人群体能够广泛使用、价廉物美,携带方便、小巧耐用。至少使得聋哑残疾人群可以不用手语与健康人群语言交流自己的思想。
人的五个手指定义如下:
拇指:又称擘指、大指、巨指、大拇指,手上最粗大的一只手指,所以叫大拇指。
食指:又称示指、人指、盐指、头指,没有筷子的时候都是用这只手指头挖东西吃或是先尝尝看食物的味道,所以称之为食指。
中指:又称长指、将指,因为位于手掌中央,所以叫中指。
无名指:医学上称为药指,环指,是一只用来戴戒指的手指,结婚后就会将人由无名份而变成有名份,所以就叫无名指。
小指:又称季指、手小指、尾指、小拇指,位于尾端最细小的一只手指头,所以也叫尾指。
人的单手的五个手指从外形上看,都是由手的指尖、指甲、指肚、指背、内侧面、外侧面、指根、指关节等部位组成,其主要部位的定义如下:
指尖:手指的尖部,为指头的最上部、顶端部。
指甲:手指背面的指尖下部的端背面扁平的甲状结构,属于结缔组织。
指肚:手指掌面各指节间肌肉略突起的部分。大拇指有上下两个指肚,其它食指、中指、无名指、小指各有上、中、下三个指肚。
指背:手指掌面的背对面,各指肚的背对面。
指根:手指的根部,与手掌连接的部位。
指关节:手指上能够自由弯曲的关节。大拇指有两个指关节,上指关节和根部指关节,其它手指都有一个根部指关节、一个上指关节和一个中间指关节。
外侧面:手指的指肚的两个侧面中与大拇指较远的一个侧面,即除大拇指外的其余手指的远离大拇指的那个侧面。对于左手,手掌朝向人的脸面时,手掌正常伸展开,除大拇指外,手指外侧面就是食指、中指、无名指、小指的右侧面部位;对于右手,手掌朝向脸面时,手掌正常伸展开,除大拇指外,手指外侧面就是食指、中指、无名指、小指的左侧面部位。手指的外侧面依据指关节也划分为上、中、下三个部分。
内侧面:手指的指肚的两个侧面中与大拇指较近的一个侧面,即除大拇指外的其余手指的离大拇指近的那个侧面。对于左手,手掌朝向人的脸面时,手掌正常伸展开,除大拇指外,手指内侧面就是食指、中指、无名指、小指的左侧面部位;对于右手,手掌朝向脸面时,手掌正常伸展开,除大拇指外,手指内侧面就是食指、中指、无名指、小指的左侧面部位。手指的内侧面依据指关节也划分为上、中、下三个部分。
本发明的单手便携式语言交流在线装置的单手操作套,由手套、按键、扫描电路、传输器组成。按键固定在手套上,固定方式可以是缝补、粘接、铆接、扣接、栓接等连接方式,要保证按键和手套之间的连接可靠长久、位置固定,按键的按压动作能够畅通、灵活地实现。
手套是能使人的单手五个独立分开的手指的所有外形,以及全部手掌、全部手背的所有外形能被包围的薄壁物品。手套的材料可以是柔软的纤维材料或橡胶、塑料等其它材料,有一定的强度、韧性、柔软度,同时要能保证其上面的按键的可靠安装和连接。手套还可以是多层的结构。
本发明中手的大拇指为主动按压手指,它的指肚、指尖、指甲上的相应能发出作用力的部位为主动按压部位,手的其它手指的手指外侧面、手指内侧面、指肚、指尖、指甲、指背等部位是被动按压部位,以及手的手掌上大拇指能按压到的某些区域的部位也是被动按压部位,被动按压部位承受主动按压部位施加的作用力。
主动按压部位和被动按压部位之间由相互接触到相互挤压直至分离的整个动作过程构成一个按压动作。
每个主动按压部位在主动按压手指相应的指肚、指尖、指甲上面,都占有一个小块面积,并且划分为互不相交的各个部分。这一个小块面积处于手指相应的指肚、指尖、指甲能发出作用力的主要区域,面积的大小确定在实现按压动作的最小接触面积与手指相应的指肚、指尖或指甲的全覆盖面积之间,其重心位置在大拇指的指肚、指尖或指甲主动按压时的动作作用的最大出力点处。
每个被动按压部位也在都占有手或除主动按压手指外的其它手指上面的一个小块面积,且也划分为互不相交的各个部分。这一个小块面积处于手指相应的指肚、指尖、指背、手指内侧面、手指外侧面、指甲或指背的中心区域,并基本覆盖相应的指肚、指尖、手指内侧面、手指外侧面、指甲或指背。这一个小块面积的重心位置就在被动按压部位的承受按压动作的最大受力点处。
对于手的手掌上的某些大拇指能按压到的被动按压部位,这一个小块面积是指和大拇指的指肚、指尖、指甲等相应的面积大小的区域面积,其重心位置是在手掌上的,与大拇指的主动按压部位在主动按压时的动作作用的最大出力点处对应的位置。
每个主动按压部位和每个被动按压部位都占有手上的一个小块面积且互不相交,在这些互不相交的各个小块面积对应的手套同样位置上相应大小的面积内,容纳和布置了一个或各自独立工作的多个按键,且每个按键独立地与扫描电路连接。
所有按键都安装在手套中,并按照所有主动按压部位和所有被动按压部位的位置分布。
按键是由传感器和辅助电路组成的,它能感知手的所有主动按压部位和所有被动按压部位接触时的按压信号,以及手上其它指定部位的按压信号。
单手操作套中的扫描电路能按照设定的周期不断扫描手套上的所有按键是否有按压信号,在确认是按压信号的基础上,就能够根据有按压信号的按键的位置,判断所有主动按压部位和所有被动按压部位的位置,并将有按压信号的按键位置以及相关的所有主动按压部位和所有被动按压部位的位置信息通过传输器,传输给控制器。
传输器将扫描电路得到的按键的按压信号,包括按压的按键个数、各个按压按键的位置、各个按键的按压时间和断开的时间等感知的信号,通过传输线传输给控制器。也可以不通过传输线,而采用无线传输方式传输给控制器,当然就需要设计相应的无线传输的配套软件和硬件电路了。
按压动作类型决定于按压位置、按压方式、按压时间。
按压位置:按压动作中所有主动按压部位和所有被动按压部位的各按键位置信息。相同的被动按压部位的位置上可能有不同的主动按压部位作用的,比如:大拇指的指尖、指肚都可以作用在食指的中指肚的部位,对应了不同的主动按压位置信息;相同的主动按压部位的位置上可能作用在不同的被动按压部位上,比如:大拇指的指尖、指肚都可以同时作用在食指和中指的中指肚的部位。感知这些部位的按键按压信号和相应的位置信息,就可以识别出相应的按压动作类型。
按压方式:所有主动按压部位作用于所有被动按压部位的不同的接触方式和作用方式。
手部的按压动作方式可分为手指按压、手掌按压、握拳按压。
手指按压又有手指侧面按压、手指指肚按压、手指指尖按压、多指指肚按压、多指按压、多指侧面按压、手指弹压、多指弹压。
手指侧面按压是大拇指的上指肚分别按压食指、中指、无名指、小指的上、中、下三个外侧面,对应不同部位共有12种按压动作类型。
多指侧面按压是大拇指的指肚按压在拇指的侧面,同时还有一个或多个其他手指的侧面相互挤压。有多种按压动作类型。
手指指肚按压是大拇指的上指肚分别按压食指、中指、无名指、小指的上、中、下三个指肚,对应不同部位共有12种按压动作类型。
手指指尖按压是大拇指的指尖按压食指、中指、无名指、小指的的内侧面或指肚部位,共有24种按压动作类型。同时还有部分按压动作类型是大拇指的指尖和指甲按压其它手指的外侧面,一般有按压食指的上和中外侧面、中指的上和中外侧面、无名指的上外侧面、小指的上外侧面6个按压动作类型。
多指指肚按压是大拇指的指肚同时按压其它二个或多个手指的指肚的动作,有多种按压动作类型。比如:大拇指的上指肚同时按压食指和中指的上指肚、大拇指的上指肚同时按压食指、中指和无名指的上指肚等。
多指按压是大拇指的上指肚分别同时按压食指、中指、无名指、小指中的任意两个或任意三个或任意四个手指。大拇指的上指肚同时按压食指、中指、无名指、小指中的两个手指的上指肚的有6种按压动作类型,大拇指的上指肚同时按压食指、中指、无名指、小指中的三个手指的上指肚的有3种按压动作类型,大拇指的上指肚同时按压食指、中指、无名指、小指中的四个手指的上指肚的有1种按压动作类型,这些共计有10种按压动作类型。
手指弹压是大拇指的指肚分别按压食指、中指、无名指、小指的上指肚的背面的指甲部位,共计有4种按压动作类型。
多指弹压是大拇指的指肚分别同时按压食指、中指、无名指、小指中的任意两个或任意三个或四个一起按压,其中有6个两指的、3个三指的、1个四指的,共计有10种按压动作类型。
手部按压动作中的手掌按压动作是大拇指的上指肚或指尖按压手掌相应部位的动作。根据在手掌上的按压部位的位置和按压部位的面积大小也可以有多种按压动作类型。
握拳按压是手部握成拳状,各手指形成的按压手掌不同部位的按压动作,而此时的大拇指上指肚与其他手指的外侧面或背面也有多种不同的相对接触位置,也可形成多种按压动作类型。
按压时间:各种按压动作的作用时间。根据每种按压动作的作用时间的长短,可以将按压动作的作用时间划分在不同时间区段内,手部的各种按压动作依据不同的按压时间区段可定义为不同的按压动作类型。也就是说:同一种按压方式下可以由按压动作的维持的时间,定义为不同的按压动作类型,即长按、中按、短按等等,或分成一级、二级、三级、四级等等。
按压动作类型将由按压动作的按压位置、按压方式、按压时间共同决定的,不同的按压位置、按压方式、按压时间及其不同的组合都可以生成不同的按压动作类型。比如:按压可以由大拇指的指尖按压其它手指的指肚或手指外侧,也可以由大拇指的手指指肚按压其它手指的指肚或手指外侧,在同样的按压位置还可以有按压时间的长、短。这样,单个手的不同部位的相互的按压动作就可以生成许多种的按压动作类型。
控制器在接收到扫描电路感知到的有按压信号的按键位置,以及相关的所有主动按压部位和所有被动按压部位的位置信息、按压动作的时间信息后,控制器依据内置的算法将识别出按压动作类型,并生成对应的操作码。控制器根据识别出来的一个按压动作类型只生成对应的一个操作码,同时控制器也将这个对应生成的一个操作码翻译为相应的一个或多个语音地址码。
语音地址码是语音存储器中的语音音频文件的存储地址,一个语音音频文件有唯一对应的存储地址。
这样,利用单个手的手指、手掌的不同部位的各种按压动作的按压位置、按压方式、按压时间及其不同组合,操作者就可以生成多种多样的不同的手部按压动作类型,而每一个按压动作类型又对应了一个操作码,结果就是操作者只利用单个手就能生成许多个不同的操作码。一个操作码又可以对应一个或多个语音音频文件的语音地址码,在控制器的控制下就可以实时地、在线地实现语音音频文件的调用和播放,实现了残疾人的单向语言交流,这就是本发明的基本原理。
按键位置决定于在手套上的安装位置,手套上的所有主动按压部位和所有被动按压部位处的小块面积内,容纳和安装了不同的按键或按键组。所有按键都各自独立地与扫描电路相连接,扫描电路连接传输器,传输器连接控制器,传输器可有线方式或无线方式连接控制器。
控制器依据内置的算法生成操作码后,还将操作码翻译成语音地址码,并按照此地址码找到语音存储器中的相应位置的语音音频文件,然后传送给语音播放器播放对应的语音音频文件。
本发明的单手便携式语言交流在线装置,其语音存储器中存储的每一个语音音频文件对应一个语音地址码,语音地址码对应着语音音频文件的文件存储起始地址,控制器根据这一地址能够找到语音存储器中存储的每一个语音音频文件及其相关信息,并读出这一语音音频文件,根据语音音频文件的播放格式,控制器控制语音播放器播放出相应的语音。
每一个语音音频文件录制的是一个字或多个字的组合的发音。语音音频文件的内容可以是国家标准字库对应的字或符号的标准发音,也可以是常用词语、词组、方言、外文、字母、特殊发音或自然界声音的其它声音。同一个字、词、词组的不同声调也对应着不同的发音,该发音按照同样的格式的语音音频文件存储。
语音音频文件的文件存储格式可以是目前主流的计算机数据存储格式,如:FAT、FAT32等;语音音频文件的音频数据格式可以是常用的音频数据格式,如:WAV格式、CD格式、WMA格式、MP3格式、MP4格式、PCM格式、MIDI格式、ACC格式等等,或其它设定格式。
语音播放器在控制器的控制下,按照控制器设定的语音播放格式,进行信号的放大和处理,并播放语音。语音播放的音质音色、音量调节、音调变化等性能受语音播放器的调节,多个扬声器的协调也受语音播放器的控制。
本发明的单手便携式语言交流在线装置实质上是一个语音处理系统。采用控制器对大容量存储设备进行搜索、读取,并通过译码将残疾人的单个手的操作码转换成语音地址码,调用对应的语音音频文件进行播放。语音信号处理系统将包括单手语意表达系统、传感系统、语音存储系统、语音表达系统、语音控制系统、电源系统等辅助系统,同时还可以实现电源警示信号提示,温湿度检测、气压显示、加热、降温、保温、时钟警示、收音机、录音机、导航、即插即用设备等辅助功能,能为残疾人提供较全面的服务。
就目前的技术条件,实现聋哑人群与健康人群的语言交流,能够让广大残疾人能够买得起、用得好的通用型便携式的语言交流装置是可以实现的。本发明还可以推广到双手操作,反应时间可以更快,效果更好,只是成本略有增加。还可以作为异地、异国等特殊交流障碍场合的语言交流在线装置。
附图说明
附图1为单手便携式语言交流在线装置的信号处理系统的结构示意图。
具体实施方式
下面结合附图说明具体实施方案。附图1给出了单手便携式语言交流在线装置的信号处理系统的结构示意图。
图中的虚线框所包含的部分表示单手操作套的组成结构。字母n为不为零的自然数,表示为第n个按键。按键10为第一个按键,按键17为第二个按键,依此类推,按键16为第n个按键。第一至第n个按键,安装固定在手套上面,并按照主动按压部位和被动按压部位的位置分布布置。在主动按压部位和被动按压部位的位置上的小块面积内可以布置一个或多个按键,所有按键都和扫描电路11相连。
扫描电路11能感知到任何按键的按压信号,然后通过传输器12传输给控制器13。传输器12传输给控制器13的信号传输方式可以是有线方式,也可以是无线方式,只要能够让控制器13有效、及时、可靠地得到扫描电路11感知的按键按压信号即可。
从实际使用角度来考虑,控制器12可以采用通用的Intel的51系列的单片机,也可以采用其它专用DSP或ARM等数字处理器。
当第1~第n中的任何一个或多个按键按下时,扫描电路11能够适时地感知到这些个按键的按下,并分析、判断出按下的按键的位置,以及按键按下的时间、按键按下维持的时间,然后将所有按键按下的以上信息通过传输器12传输给控制器13。
控制器13依据内置的控制算法分析、识别收到的按键信息,并根据按压动作的按压位置、按压方式、按压时间识别出按压动作类型。不同的按压位置、按压方式、按压时间及其不同组合可以生成不同的按压动作类型,单个手的不同部位的相互的按压动作可以生成许多种的按压动作类型。
控制器13在获得按压动作类型后,生成对应的操作码,一个按压动作类型对应生成一个操作码。
控制器13依据内置的算法生成操作码后,还将操作码翻译成相应的一个或多个语音地址码,并按照地址码找到语音存储器14中的相应存储位置的语音音频文件,然后传送给语音播放器15,并在控制器13的控制下播放对应的语音音频文件。
这样,利用单个手的手指、手掌的不同部位的各种按压动作的按压位置、按压方式、按压时间及其组合,操作者就可以生成多种多样的手部按压动作类型,而每一个按压动作类型又对应了一个操作码,结果就是操作者只利用单个手就能生成许多个不同的操作码。一个操作码又可以翻译成一个或多个语音音频文件的语音地址码,即语音音频文件的存储地址,在控制器的控制下就可以实时地、在线地实现语音音频文件的调用、播放,实现残疾人的语言交流,这就是本发明的基本原理和一种可实现的方案。
语音播放器15在控制器13的控制下,设定的语音播放格式,进行信号的放大,并播放语音。语音的播放的音质音色、音量调节、音调变化等性能受语音播放器15的调节,多个扬声器的播放也受语音播放器15的协调。
本发明的单手便携式语言交流在线装置,其语音存储器中存储的每一个语音音频文件对应一个语音地址码,语音地址码对应着语音音频文件的文件存储起始地址,控制器根据这一地址能够找到语音存储器中存储的每一个语音音频文件及其相关信息,并调出这一语音音频文件,根据语音音频文件的播放格式用相应的语音播放器播放出语音。
语音播放器15可以为控制器13内置的软件外加一些数模转换芯片和扬声器来实现,也可以直接用市场上常用的一些专用语音播放芯片来实现。
每一个语音音频文件录制的是一个字或多个字的组合的发音。语音音频文件的内容可以是国家标准字库对应的字或符号的标准发音,也可以是常用词语、词组、方言、外文、字母、特殊发音的其它声音。同一个字、词、词组的不同声调也对应着不同的发音,该发音按照同样的格式的语音音频文件存储。
语音音频文件的文件存储格式可以是目前主流的计算机数据存储格式,如:FAT、FAT32等;语音音频文件的音频数据格式可以是常用的音频数据格式,如:WAV格式、CD格式、WMA格式、MP3格式、MP4格式、PCM格式、MIDI格式、ACC格式等,也可以是特殊设计播放格式。
本发明的单手便携式语言交流在线装置,能够改善聋哑人与健全人的交流环境,改变目前必须通过手语或手语翻译进行交流的局面,为困难的语言交流障碍的残疾人人群的生活质量的改观,提供了全新的途径,能造福于千千万万的残疾人兄弟,造福于千千万万的残疾人家庭,具有巨大的社会效益。
同时,拥有数千万的用户,产品的升级换代、售后服务有巨大的市场,还可以针对国外的不同语言拓展为其它语言方式,还可以针对特殊语音环境设计各类产品,经济意义也十分重大。

Claims (7)

1.本发明的单手便携式语言交流在线装置,包括单手操作套、控制器、语音存储器、语音播放器,其单手操作套与控制器相连接,控制器连接语音存储器和语音播放器,其特征在于:控制器接收单手操作套感知的信息,并依据内置的算法,识别出按压动作类型,生成对应的操作码和语音地址码,再根据语音地址码从语音存储器中取出相应的语音音频文件传送给语音播放器,控制器控制语音播放器进行语音音频文件的播放。
2.如权利要求1所述的单手便携式语言交流在线装置的单手操作套,由手套、按键、扫描电路、传输器组成,按键固定并分布在手套上,各个按键和扫描电路相连接,扫描电路连接传输器,传输器连接着控制器,其特征在于:按键固定并分布在手套上的与手的主动按压部位和被动按压部位相对应的位置上的小块面积内,各小块面积内布置和容纳了各自独立的一个或多个按键,各传输器有线方式或无线方式连接控制器。
3.如权利要求1所述的单手便携式语言交流在线装置的按压动作类型,其特征在于:一个按压动作类型只生成对应的一个操作码,一个操作码可翻译成相应的一个或多个语音地址码。
4.如权利要求1所述的单手便携式语言交流在线装置的按压动作类型,其特征在于:按压动作类型决定于按压位置、按压方式、按压时间。
5.如权利要求4所述的单手便携式语言交流在线装置的按压方式,其特征在于:按压动作方式有手指按压、手掌按压、握拳按压。
6.如权利要求4所述的单手便携式语言交流在线装置的按压时间,其特征在于:按压动作的作用时间划分在不同时间区段内。
7.如权利要求1所述的单手便携式语言交流在线装置的语音存储器,其特征在于:语音存储器中存储的每一个语音音频文件对应一个语音地址码。
CN201110222695A 2011-07-29 2011-07-29 单手便携式语言交流在线装置 Pending CN102306464A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110222695A CN102306464A (zh) 2011-07-29 2011-07-29 单手便携式语言交流在线装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110222695A CN102306464A (zh) 2011-07-29 2011-07-29 单手便携式语言交流在线装置

Publications (1)

Publication Number Publication Date
CN102306464A true CN102306464A (zh) 2012-01-04

Family

ID=45380315

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110222695A Pending CN102306464A (zh) 2011-07-29 2011-07-29 单手便携式语言交流在线装置

Country Status (1)

Country Link
CN (1) CN102306464A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103426342A (zh) * 2013-06-17 2013-12-04 上海理工大学 一种语音沟通方法和语音沟通装置
CN111226224A (zh) * 2017-10-18 2020-06-02 三星电子株式会社 用于翻译语音信号的方法及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1640939A1 (fr) * 2004-09-22 2006-03-29 Jöelle Beuret-Devanthery Dispositif de communication
CN201356078Y (zh) * 2008-09-23 2009-12-09 魏清超 智能哑语翻译手套
CN102063825A (zh) * 2010-12-15 2011-05-18 北京理工大学 一种基于数据手套的手语识别装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1640939A1 (fr) * 2004-09-22 2006-03-29 Jöelle Beuret-Devanthery Dispositif de communication
CN201356078Y (zh) * 2008-09-23 2009-12-09 魏清超 智能哑语翻译手套
CN102063825A (zh) * 2010-12-15 2011-05-18 北京理工大学 一种基于数据手套的手语识别装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103426342A (zh) * 2013-06-17 2013-12-04 上海理工大学 一种语音沟通方法和语音沟通装置
CN103426342B (zh) * 2013-06-17 2016-01-20 上海理工大学 一种语音沟通方法和语音沟通装置
CN111226224A (zh) * 2017-10-18 2020-06-02 三星电子株式会社 用于翻译语音信号的方法及电子设备
CN111226224B (zh) * 2017-10-18 2024-01-12 三星电子株式会社 用于翻译语音信号的方法及电子设备
US11915684B2 (en) 2017-10-18 2024-02-27 Samsung Electronics Co., Ltd. Method and electronic device for translating speech signal

Similar Documents

Publication Publication Date Title
Ramakrishnan et al. Speech emotion recognition approaches in human computer interaction
CN101105894B (zh) 多功能语言学习机
Johnston Towards a comparative semiotics of pointing actions in signed and spoken languages
Kaur et al. HamNoSys to SiGML conversion system for sign language automation
CN103714727A (zh) 一种人机互动的外语学习系统和方法
JP2003517158A (ja) 分散型リアルタイム音声認識システム
CN101414412A (zh) 互动式声控儿童教育学习装置
CN102404278A (zh) 一种基于声纹识别的点歌系统及其应用方法
CN111681779A (zh) 一种医疗诊断系统
CN103426342B (zh) 一种语音沟通方法和语音沟通装置
Dhanjal et al. Tools and techniques of assistive technology for hearing impaired people
CN101494816A (zh) 一种适用于全聋患者的助听装置与方法
CN103295570A (zh) 一种手套式发声系统
CN102306464A (zh) 单手便携式语言交流在线装置
CN203399142U (zh) 工作学习应用机器人
Anuja et al. Design and development of a frame based MT system for English-to-ISL
CN201111735Y (zh) 互动式声控儿童教育学习装置
JP2006120136A (ja) 言語処理装置、言語処理方法、言語処理プログラムおよびそれを記録したコンピュータ読み取り可能な記録媒体
CN107358955A (zh) 一种集光、振动刺激于一体的语音信号输出装置及方法
Morales et al. Speech-based human and service robot interaction: An application for Mexican dysarthric people
CN107251137A (zh) 利用语音改善至少一种语义单元的集合的方法、装置及计算机可读记录介质
CN108717854A (zh) 基于优化gfcc特征参数的说话人识别方法
CN111009234B (zh) 语音转换方法、装置和设备
KR102432132B1 (ko) 뇌세포 자극어플리케이션 제공 서버 및 방법, 뇌세포 자극 어플리케이션용 키보드
Ghosh et al. Sign Language Hand Glove

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120104