CN102426839B - 一种听障人群的语音辨识方法 - Google Patents

一种听障人群的语音辨识方法 Download PDF

Info

Publication number
CN102426839B
CN102426839B CN2011102459140A CN201110245914A CN102426839B CN 102426839 B CN102426839 B CN 102426839B CN 2011102459140 A CN2011102459140 A CN 2011102459140A CN 201110245914 A CN201110245914 A CN 201110245914A CN 102426839 B CN102426839 B CN 102426839B
Authority
CN
China
Prior art keywords
signal
voice
stimulation
conversion
digital
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2011102459140A
Other languages
English (en)
Other versions
CN102426839A (zh
Inventor
张开生
高明星
李志健
张攀峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
XUZHOU MEISHITONG ELECTRIC VEHICLE Co.,Ltd.
Original Assignee
Shaanxi University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi University of Science and Technology filed Critical Shaanxi University of Science and Technology
Priority to CN2011102459140A priority Critical patent/CN102426839B/zh
Publication of CN102426839A publication Critical patent/CN102426839A/zh
Application granted granted Critical
Publication of CN102426839B publication Critical patent/CN102426839B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Electrically Operated Instructional Devices (AREA)

Abstract

一种听障人群的语音辨识方法，包括以下步骤：第一，利用麦克风采集谈话者的语音信号并通过音频放大器进行信号放大；第二，放大后的语音信号利用微处理器完成信号的模数转换A/D、信号的语音处理、查询区位码并确设定皮肤刺激方案，将处理后的数字信号由数模转换器D/A转换后输出；第三，通过输出级信号处理模块的升压装置对D/A转换后的信号进行后级升压，利用平面电极完成对听障人群皮肤的刺激，设定刺激级别，听障用户在感受到特定数字串刺激后，可将该刺激辨识成数字信息，同时依据该数字信息来确定对话者的话语内容，内容简单，记忆过程容易，将复杂的语音辨识过程借助于微处理器完成，使听障人群对语音的辨识更为简单、有效。

Description

一种听障人群的语音辨识方法
技术领域
本发明属于语音辨识技术领域，特别涉及一种语音辨识方法，尤其适用于听障人群。
背景技术
据《首届国际听力障碍预防与康复大会》中的报告资料显示，当今世界，由于疾病、遗传、耳毒性药物、噪声、意外事故以及人口老龄化的影响，人类面临的听力残疾风险增加，听力障碍的人数不断上升，全球有2.78亿人双耳存在中重度听力损伤，其中80%生活在发展中国家。听力障碍影响了人们的正常生活，给许多家庭带来了痛苦与贫困。听力障碍不仅成为全球性的公共卫生问题，也日益成为严重的社会问题。
由于传统助听器是利用麦克风将声音信号转换成电信号并且放大，然后再把放大的声音传送给人的耳朵。这种方法需要依赖人体残余听力，并未从根本上解决听力障碍人群的听力问题。
专利号为【200410026265.5】的发明专利公开了一种变压式皮肤听声器,根据生物学的听觉原理，利用电子与声学技术模仿人体的听觉器官，提供了便于聋哑人使用的皮肤听声器。该发明是将外部声音信号转换成电流信号，并将电流震荡信号通过皮肤传给大脑，使得听障用户能够感觉到刺激信号，但并未解决语音辨识的问题。
专利号为【200910219078.1】的发明专利公开了一种“多通道阵列式皮肤听声器”,提供了一种利用多通道带通滤波及功率放大电路连接升压阵列装置，驱动平面电极阵列刺激皮肤不同位置的方式，使皮肤具备语音分辨能力。该发明需将复杂的语音还原为多路相对单纯的音频信号，并通过不同频率信号刺激人体不同位置的方式实现语音辨析。该过程需要听障用户经过长期的语言条件反射，反复训练后才能完成各种语音信号所产生不同刺激的记忆。因此，所需记忆的刺激种类较多，形成条件反射所需时间较长，使得语音辨识过程复杂，困难。
发明内容
为了克服上述现有技术的不足，本发明的目的在于提供一种听障人群的语音辨识方法，通过微处理器将所接收到的语音信息转换成汉字信息，并结合汉字区位码表转换成0～9的数字信息，依据区位码以及使用者设置的最大刺激强度或默认强度来确定特定的皮肤刺激方案，进而实现听障人群对语音的辨识。本发明所需记忆的内容简单，记忆过程容易，将复杂的语音辨识过程借助于微处理器完成，使听障人群对语音的辨识更为简单、有效。
为了实现上述目的，本发明采用的技术方案是：一种听障人群的语音辨识方法，包括以下步骤：
第一，采集语音信号并通过音频放大器进行预处理，具体做法是：
利用麦克风采集对话者的语音信号，并将采集到的信号经过音频放大器进行信号放大；
第二，放大后的语音信号利用微处理器完成信号的模数转换A/D、信号的语音处理、查询区位码并通过使用者设置的最大刺激强度或默认强度确定皮肤刺激方案，将处理后的数字信号由数模转换器DAC转换后输出至升压模块，具体做法是：
微处理器中的模数转换器ADC对音频放大器放大后的语音信号进行转换，即将语音模拟信号转换为语音数字信号，经过模数转换器ADC转换后的语音数字信号进入语音信号处理器转化为汉字信息，再通过查询微处理器中设有的区位码表找出该汉字信息所对应的四位十进制的数字信息，通过对应的数字信息并依据使用者设置的最大刺激强度或默认强度确定皮肤刺激方案，刺激方案中的刺激强度分为低、中、高三种级别，对三种级别进行特定组合后分别对应于0～9的数字信息，其中一个数字由1～3个刺激信号组成，每个数字之间有“短”间隔，一个汉字编码由4个数字组成，每个汉字编码之间有“长”间隔。最后，依语音信息确定的特定数字串经D/A转换器输出至升压模块；
第三，通过输出级信号处理模块完成对模拟信号的升压并通过电极对皮肤产生刺激，具体做法是：
通过输出级信号处理模块的升压装置将D/A转换后的信号进行后级升压，利用平面电极完成对听障人群皮肤的刺激。预先，听障用户可以依据自己的承受能力调节旋钮，设定刺激强度级别。听障用户感受到特定数字串刺激后，可将该刺激辨识成数字信息，同时依据该数字信息确定对话者的话语内容。平时训练时，听障用户可利用掌上电脑或区位字典查询区位码表，经反复练习即可达到辨识语音的最佳效果。
本发明的有益效果是：
1）所确定的皮肤刺激方案，将产生高、中、低级别的刺激，通过特定组合对应于0～9的数字信息，使得记忆内容简洁，记忆过程较为容易，记忆效果比较显著。
2）语音的辨识借助于微处理器，听障人群可以自行利用掌上电脑或区位字典查询区位码表，辨识谈话者说话的语音内容，使听障人群对语音的辨识更为简单、有效。
本发明利用微处理器对采集到的语音信号进行处理，其中对于确定皮肤的刺激方案是通过查询汉字所对应的区位码，获取四位十进制数字信息；并将刺激分为低、中、高的三个级别，对三种级别进行组合后分别对应于0～9的数字信息，一个数字由1～3个刺激信号组成，每个数字之间有“短”间隔，一个汉字编码由4个数字组成，每个汉字编码之间有“长”间隔，听障人群只需理解刺激方案及识别0～9的十个数字，即可识别汉字，在实际训练中，听障人群可以自行利用掌上电脑或区位字典查询区位码表，达到辨识语音的效果。由于本发明不依赖人体残余听力，并将复杂的语音辨识过程交给微处理器完成，具有所需记忆的内容简单，记忆过程容易，使听障人群对语音的辨识更为简单、有效的特点。 
附图说明
图1 为本发明的实施例的示意图。
图2 为本发明皮肤刺激方案图。
图3为本发明语音辨识过程示意图。
具体实施方式
下面结合附图和实施例对本发明的技术方案及思路作进一步的描述。
实施例
下面以对话者所述的一句“大家好”为例对本发明作进一步详细说明。
参见图1、2、3，一种听障人群的语音辨识方法，包括以下步骤：
第一，采集语音信号并通过音频放大器1进行预处理，具体做法是：
利用麦克风4采集谈话者的语音信号，将采集到的语音信号经过语音信号采集及预处理模块1的音频放大器5进行初级放大；
第二，放大后的语音信号利用微处理器完成信号的模数转换A/D、信号的语音处理、查询区位码并依据使用者设置的最大刺激强度或默认强度来确定特定的皮肤刺激方案，将处理后的数字信号由数模转换器D/A转换后输出至升压模块，具体做法是：
微处理器2中的模数转换器ADC6对音频放大器5放大后的语音信号进行转换，即将语音模拟信号转换为语音数字信号，经过模数转换器ADC6转换后的语音数字信号进入语音信号处理器7转化为汉字信息，再通过查询微处理器2中设有的区位码表11找出汉字信息对应的四位十进制的数字信息，通过对应的数字信息并依据使用者设置的最大刺激强度或默认强度确定特定的皮肤刺激方案，刺激方案分为低、中、高的三个级别，其中，用户可以承受的最大刺激确定为高级，将该刺激的2/3确定为中级，1/3确定为低级，对三种级别进行组合后分别对应于0～9的数字信息，一个数字由1～3个刺激信号组成，每个数字之间有“短”间隔，一个汉字编码由4个数字组成，每个汉字编码之间有“长”间隔。
本例中“大家好”所对应的区位码分别是“2083”，“2850”，“2635”，所对应的皮肤刺激数字串码为                                                
Figure 553158DEST_PATH_IMAGE001
，其中“-”为短间隔，“- -”为长间隔，微处理器2将所对应的数字信号Dmax确定为高级，2/3Dmax为中级，1/3Dmax为低级，此信号在使用者调节旋钮，并预先设定刺激强度时，由微处理器2自动记录并保存,该数字信号在经过D/A8转换后输出不同程度的模拟信号，其中Amax为高级，2/3Amax为中级，1/3Amax为低级；
第三，通过输出级信号处理模块3完成对模拟信号的升压并通过电极对皮肤产生刺激，具体做法是：
通过输出级信号处理器3的升压装置9对D/A8转换后的信号进行后级升压，利用平面电极10完成对听障人群皮肤的刺激，调节旋钮经过I/O口连接至微处理器2，依据不同人的承受能力调节该旋钮，改变Dmax的值来调整输出Amax值，进而改变平面电极10的输出强度范围，听障用户感受到特定数字串刺激后，可将该刺激辨识成数字信息，同时依据该数字信息确定对话者的话语内容。平时训练时，听障用户可利用掌上电脑或区位字典查询区位码表，经反复练习即可达到辨识语音的最佳效果。
本例中,听障用户所接收到的刺激数字串为，听障用户可根据所接收的刺激辨识出数字信息“2-0-8-3- -2-8-5-0- -2-6-3-5”，再根据区位码表得到汉字信息“大家好”。
在实际训练中，听障人群只需要通过手语老师的配合，理解刺激方案，记忆从0～9这十个数字的刺激方式，经过一定时间的反复训练，便可以达到辨识语音的效果。

Claims (1)

1.一种听障人群的语音辨识方法，包括以下步骤：
第一，采集语音信号并通过音频放大器进行预处理，具体做法是：
利用麦克风采集谈话者的语音信号，并将采集到的信号经音频放大器进行信号放大；
第二，放大后的语音信号利用微处理器完成信号的模数转换A/D、信号的语音处理、查询区位码并依据使用者设置的最大刺激强度或默认强度来确定皮肤刺激方案，将处理后的数字串信号由数模转换器D/A转换后输出，具体做法是：
微处理器中的模数转换器ADC对音频放大器放大后的语音信号进行A/D转换，即将语音模拟信号转换为语音数字信号，经过模数转换器ADC转换后的语音数字信号进入语音信号处理器处理并转化为汉字信息，再通过查询微处理器中设有的区位码表找出该汉字信息所对应的四位十进制的数字信息，通过对应的数字信息并依据使用者设置的最大刺激强度或默认强度来确定皮肤刺激方案，刺激方案中的刺激强度分为低、中、高三种级别，对三种级别进行特定组合后分别对应于0～9的数字信息，其中一个数字由1～3个刺激信号组成，每个数字之间有“短”间隔，一个汉字编码由4个数字组成，每个汉字编码之间有“长”间隔，最后，依据语音信息确定的特定数字串经D/A转换器输出至升压模块；
第三，通过输出级信号处理模块完成对模拟信号的升压并通过电极对皮肤产生刺激，具体做法是：
通过输出级信号处理模块的升压装置将D/A转换后的信号进行后级升压，利用平面电极完成对听障人群皮肤的刺激，预先，听障用户可以依据自己的承受能力调节旋钮，设定刺激强度级别，听障用户感受到特定数字串刺激后，可将该刺激辨识成数字信息，同时依据该数字信息确定对话者的话语内容，实际训练时，听障用户可利用掌上电脑或区位字典查询区位码表，经反复练习后即可达到辨识语音的最佳效果。
CN2011102459140A 2011-08-25 2011-08-25 一种听障人群的语音辨识方法 Active CN102426839B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2011102459140A CN102426839B (zh) 2011-08-25 2011-08-25 一种听障人群的语音辨识方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2011102459140A CN102426839B (zh) 2011-08-25 2011-08-25 一种听障人群的语音辨识方法

Publications (2)

Publication Number Publication Date
CN102426839A CN102426839A (zh) 2012-04-25
CN102426839B true CN102426839B (zh) 2013-02-27

Family

ID=45960813

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011102459140A Active CN102426839B (zh) 2011-08-25 2011-08-25 一种听障人群的语音辨识方法

Country Status (1)

Country Link
CN (1) CN102426839B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103578328B (zh) * 2012-08-08 2016-05-25 塞舌尔商元鼎音讯股份有限公司 了解听障者听力的方法
CN109688990A (zh) * 2016-09-06 2019-04-26 新感知公司 用于向用户提供附属感觉信息的方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1593361A (zh) * 2004-06-24 2005-03-16 陕西科技大学 变压式皮肤听声器
CN201701377U (zh) * 2010-05-28 2011-01-12 陕西科技大学 多通道阵列升压式皮肤听声器
CN201726531U (zh) * 2009-07-02 2011-01-26 陕西科技大学 一种agc与动态放大相结合的助听器
CN201920987U (zh) * 2010-12-07 2011-08-10 陕西科技大学 一种基于莫尔斯码的皮肤听声器

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09206328A (ja) * 1996-01-31 1997-08-12 Hitachi Chem Co Ltd 情報伝達装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1593361A (zh) * 2004-06-24 2005-03-16 陕西科技大学 变压式皮肤听声器
CN201726531U (zh) * 2009-07-02 2011-01-26 陕西科技大学 一种agc与动态放大相结合的助听器
CN201701377U (zh) * 2010-05-28 2011-01-12 陕西科技大学 多通道阵列升压式皮肤听声器
CN201920987U (zh) * 2010-12-07 2011-08-10 陕西科技大学 一种基于莫尔斯码的皮肤听声器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JP特开平9-206328A 1997.08.12

Also Published As

Publication number Publication date
CN102426839A (zh) 2012-04-25

Similar Documents

Publication Publication Date Title
US11819691B2 (en) Method and system for use of hearing prosthesis for linguistic evaluation
CN201920987U (zh) 一种基于莫尔斯码的皮肤听声器
CN104835505A (zh) 一种正常人与聋、哑、盲人群的对话装置及其使用方法
TW201208636A (en) Method and mobile device for awareness of linguistic ability
CN201532762U (zh) 个人专用同声传译装置
Nejime et al. A portable digital speech-rate converter for hearing impairment
Watson Oralism—Current policy and practice
CN105434084A (zh) 一种移动设备、体外机、人工耳蜗系统及语音处理方法
CN104571533A (zh) 一种基于脑机接口技术的装置和方法
Ertmer et al. A comparison of vowel production by children with multichannel cochlear implants or tactile aids: Perceptual evidence
CN102426839B (zh) 一种听障人群的语音辨识方法
Pisoni Speech perception in deaf children with cochlear implants
CN102376304B (zh) 文本朗读系统及其文本朗读方法
CN204614443U (zh) 一种正常人与聋、哑、盲人群的对话装置
Ifukube Sound-based assistive technology
CN201701377U (zh) 多通道阵列升压式皮肤听声器
CN101703436B (zh) 多通道阵列式皮肤听声器
CN204216964U (zh) 一种具有助听器功能的手机
CN201965928U (zh) 具有单词翻译功能的mp3播放器
Iwasaki et al. Contribution of speech rate to speech perception in multichannel cochlear implant users
CN106714064B (zh) 一种人工耳蜗音频实时处理方法
CN1281200C (zh) 变压式皮肤听声器
Yuan et al. Non-acoustic speech sensing system based on flexible piezoelectric
CN201322999Y (zh) 一种帮助学生进行全脑学习的听课机
CN114040308A (zh) 一种基于情感增益的皮肤听声助听装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20201126

Address after: 808, floor 8, building B, business center, gangzhilong science and Technology Park, No. 6, Qinglong Road, Qinghua community, Longhua street, Longhua District, Shenzhen City, Guangdong Province

Patentee after: Shenzhen Pengbo Information Technology Co.,Ltd.

Address before: 710021 Shaanxi province Xi'an Weiyang university campus of Shaanxi University of Science and Technology

Patentee before: SHAANXI University OF SCIENCE & TECHNOLOGY

Effective date of registration: 20201126

Address after: 221000 Hanwang toll station east of Zhujiang Road, Hanwang Town, Tongshan District, Xuzhou City, Jiangsu Province, 100m

Patentee after: XUZHOU MEISHITONG ELECTRIC VEHICLE Co.,Ltd.

Address before: 808, floor 8, building B, business center, gangzhilong science and Technology Park, No. 6, Qinglong Road, Qinghua community, Longhua street, Longhua District, Shenzhen City, Guangdong Province

Patentee before: Shenzhen Pengbo Information Technology Co.,Ltd.