CN102426839B - 一种听障人群的语音辨识方法 - Google Patents
一种听障人群的语音辨识方法 Download PDFInfo
- Publication number
- CN102426839B CN102426839B CN2011102459140A CN201110245914A CN102426839B CN 102426839 B CN102426839 B CN 102426839B CN 2011102459140 A CN2011102459140 A CN 2011102459140A CN 201110245914 A CN201110245914 A CN 201110245914A CN 102426839 B CN102426839 B CN 102426839B
- Authority
- CN
- China
- Prior art keywords
- signal
- voice
- stimulation
- conversion
- digital
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 208000032041 Hearing impaired Diseases 0.000 title 1
- 230000000638 stimulation Effects 0.000 claims abstract description 30
- 238000006243 chemical reaction Methods 0.000 claims abstract description 16
- 230000008569 process Effects 0.000 claims abstract description 14
- 230000004888 barrier function Effects 0.000 claims description 29
- 230000003321 amplification Effects 0.000 claims description 6
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 6
- 206010011878 Deafness Diseases 0.000 abstract description 5
- 206010040880 Skin irritation Diseases 0.000 abstract 1
- 230000036556 skin irritation Effects 0.000 abstract 1
- 231100000475 skin irritation Toxicity 0.000 abstract 1
- ATJFFYVFTNAWJD-UHFFFAOYSA-N Tin Chemical compound [Sn] ATJFFYVFTNAWJD-UHFFFAOYSA-N 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 208000016354 hearing loss disease Diseases 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000003446 memory effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 231100000199 ototoxic Toxicity 0.000 description 1
- 230000002970 ototoxic effect Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000005180 public health Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
Images
Landscapes
- Electrically Operated Instructional Devices (AREA)
Abstract
一种听障人群的语音辨识方法，包括以下步骤：第一，利用麦克风采集谈话者的语音信号并通过音频放大器进行信号放大；第二，放大后的语音信号利用微处理器完成信号的模数转换A/D、信号的语音处理、查询区位码并确设定皮肤刺激方案，将处理后的数字信号由数模转换器D/A转换后输出；第三，通过输出级信号处理模块的升压装置对D/A转换后的信号进行后级升压，利用平面电极完成对听障人群皮肤的刺激，设定刺激级别，听障用户在感受到特定数字串刺激后，可将该刺激辨识成数字信息，同时依据该数字信息来确定对话者的话语内容，内容简单，记忆过程容易，将复杂的语音辨识过程借助于微处理器完成，使听障人群对语音的辨识更为简单、有效。
Description
技术领域
本发明属于语音辨识技术领域，特别涉及一种语音辨识方法，尤其适用于听障人群。
背景技术
据《首届国际听力障碍预防与康复大会》中的报告资料显示，当今世界，由于疾病、遗传、耳毒性药物、噪声、意外事故以及人口老龄化的影响，人类面临的听力残疾风险增加，听力障碍的人数不断上升，全球有2.78亿人双耳存在中重度听力损伤，其中80%生活在发展中国家。听力障碍影响了人们的正常生活，给许多家庭带来了痛苦与贫困。听力障碍不仅成为全球性的公共卫生问题，也日益成为严重的社会问题。
由于传统助听器是利用麦克风将声音信号转换成电信号并且放大，然后再把放大的声音传送给人的耳朵。这种方法需要依赖人体残余听力，并未从根本上解决听力障碍人群的听力问题。
专利号为【200410026265.5】的发明专利公开了一种变压式皮肤听声器,根据生物学的听觉原理，利用电子与声学技术模仿人体的听觉器官，提供了便于聋哑人使用的皮肤听声器。该发明是将外部声音信号转换成电流信号，并将电流震荡信号通过皮肤传给大脑，使得听障用户能够感觉到刺激信号，但并未解决语音辨识的问题。
专利号为【200910219078.1】的发明专利公开了一种“多通道阵列式皮肤听声器”,提供了一种利用多通道带通滤波及功率放大电路连接升压阵列装置，驱动平面电极阵列刺激皮肤不同位置的方式，使皮肤具备语音分辨能力。该发明需将复杂的语音还原为多路相对单纯的音频信号，并通过不同频率信号刺激人体不同位置的方式实现语音辨析。该过程需要听障用户经过长期的语言条件反射，反复训练后才能完成各种语音信号所产生不同刺激的记忆。因此，所需记忆的刺激种类较多，形成条件反射所需时间较长，使得语音辨识过程复杂，困难。
发明内容
为了克服上述现有技术的不足，本发明的目的在于提供一种听障人群的语音辨识方法，通过微处理器将所接收到的语音信息转换成汉字信息，并结合汉字区位码表转换成0～9的数字信息，依据区位码以及使用者设置的最大刺激强度或默认强度来确定特定的皮肤刺激方案，进而实现听障人群对语音的辨识。本发明所需记忆的内容简单，记忆过程容易，将复杂的语音辨识过程借助于微处理器完成，使听障人群对语音的辨识更为简单、有效。
为了实现上述目的，本发明采用的技术方案是：一种听障人群的语音辨识方法，包括以下步骤：
第一，采集语音信号并通过音频放大器进行预处理，具体做法是：
利用麦克风采集对话者的语音信号，并将采集到的信号经过音频放大器进行信号放大；
第二，放大后的语音信号利用微处理器完成信号的模数转换A/D、信号的语音处理、查询区位码并通过使用者设置的最大刺激强度或默认强度确定皮肤刺激方案，将处理后的数字信号由数模转换器DAC转换后输出至升压模块，具体做法是：
微处理器中的模数转换器ADC对音频放大器放大后的语音信号进行转换，即将语音模拟信号转换为语音数字信号，经过模数转换器ADC转换后的语音数字信号进入语音信号处理器转化为汉字信息，再通过查询微处理器中设有的区位码表找出该汉字信息所对应的四位十进制的数字信息，通过对应的数字信息并依据使用者设置的最大刺激强度或默认强度确定皮肤刺激方案，刺激方案中的刺激强度分为低、中、高三种级别，对三种级别进行特定组合后分别对应于0～9的数字信息，其中一个数字由1～3个刺激信号组成，每个数字之间有“短”间隔，一个汉字编码由4个数字组成，每个汉字编码之间有“长”间隔。最后，依语音信息确定的特定数字串经D/A转换器输出至升压模块；
第三，通过输出级信号处理模块完成对模拟信号的升压并通过电极对皮肤产生刺激，具体做法是：
通过输出级信号处理模块的升压装置将D/A转换后的信号进行后级升压，利用平面电极完成对听障人群皮肤的刺激。预先，听障用户可以依据自己的承受能力调节旋钮，设定刺激强度级别。听障用户感受到特定数字串刺激后，可将该刺激辨识成数字信息，同时依据该数字信息确定对话者的话语内容。平时训练时，听障用户可利用掌上电脑或区位字典查询区位码表，经反复练习即可达到辨识语音的最佳效果。
本发明的有益效果是：
1）所确定的皮肤刺激方案，将产生高、中、低级别的刺激，通过特定组合对应于0～9的数字信息，使得记忆内容简洁，记忆过程较为容易，记忆效果比较显著。
2）语音的辨识借助于微处理器，听障人群可以自行利用掌上电脑或区位字典查询区位码表，辨识谈话者说话的语音内容，使听障人群对语音的辨识更为简单、有效。
本发明利用微处理器对采集到的语音信号进行处理，其中对于确定皮肤的刺激方案是通过查询汉字所对应的区位码，获取四位十进制数字信息；并将刺激分为低、中、高的三个级别，对三种级别进行组合后分别对应于0～9的数字信息，一个数字由1～3个刺激信号组成，每个数字之间有“短”间隔，一个汉字编码由4个数字组成，每个汉字编码之间有“长”间隔，听障人群只需理解刺激方案及识别0～9的十个数字，即可识别汉字，在实际训练中，听障人群可以自行利用掌上电脑或区位字典查询区位码表，达到辨识语音的效果。由于本发明不依赖人体残余听力，并将复杂的语音辨识过程交给微处理器完成，具有所需记忆的内容简单，记忆过程容易，使听障人群对语音的辨识更为简单、有效的特点。
附图说明
图1 为本发明的实施例的示意图。
图2 为本发明皮肤刺激方案图。
图3为本发明语音辨识过程示意图。
具体实施方式
下面结合附图和实施例对本发明的技术方案及思路作进一步的描述。
实施例
下面以对话者所述的一句“大家好”为例对本发明作进一步详细说明。
参见图1、2、3，一种听障人群的语音辨识方法，包括以下步骤：
第一，采集语音信号并通过音频放大器1进行预处理，具体做法是：
利用麦克风4采集谈话者的语音信号，将采集到的语音信号经过语音信号采集及预处理模块1的音频放大器5进行初级放大；
第二，放大后的语音信号利用微处理器完成信号的模数转换A/D、信号的语音处理、查询区位码并依据使用者设置的最大刺激强度或默认强度来确定特定的皮肤刺激方案，将处理后的数字信号由数模转换器D/A转换后输出至升压模块，具体做法是：
微处理器2中的模数转换器ADC6对音频放大器5放大后的语音信号进行转换，即将语音模拟信号转换为语音数字信号，经过模数转换器ADC6转换后的语音数字信号进入语音信号处理器7转化为汉字信息，再通过查询微处理器2中设有的区位码表11找出汉字信息对应的四位十进制的数字信息，通过对应的数字信息并依据使用者设置的最大刺激强度或默认强度确定特定的皮肤刺激方案，刺激方案分为低、中、高的三个级别，其中，用户可以承受的最大刺激确定为高级，将该刺激的2/3确定为中级，1/3确定为低级，对三种级别进行组合后分别对应于0～9的数字信息，一个数字由1～3个刺激信号组成，每个数字之间有“短”间隔，一个汉字编码由4个数字组成，每个汉字编码之间有“长”间隔。
本例中“大家好”所对应的区位码分别是“2083”，“2850”，“2635”，所对应的皮肤刺激数字串码为 
，其中“-”为短间隔，“- -”为长间隔，微处理器2将所对应的数字信号Dmax确定为高级，2/3Dmax为中级，1/3Dmax为低级，此信号在使用者调节旋钮，并预先设定刺激强度时，由微处理器2自动记录并保存,该数字信号在经过D/A8转换后输出不同程度的模拟信号，其中Amax为高级，2/3Amax为中级，1/3Amax为低级；
第三，通过输出级信号处理模块3完成对模拟信号的升压并通过电极对皮肤产生刺激，具体做法是：
通过输出级信号处理器3的升压装置9对D/A8转换后的信号进行后级升压，利用平面电极10完成对听障人群皮肤的刺激，调节旋钮经过I/O口连接至微处理器2，依据不同人的承受能力调节该旋钮，改变Dmax的值来调整输出Amax值，进而改变平面电极10的输出强度范围，听障用户感受到特定数字串刺激后，可将该刺激辨识成数字信息，同时依据该数字信息确定对话者的话语内容。平时训练时，听障用户可利用掌上电脑或区位字典查询区位码表，经反复练习即可达到辨识语音的最佳效果。
本例中,听障用户所接收到的刺激数字串为，听障用户可根据所接收的刺激辨识出数字信息“2-0-8-3- -2-8-5-0- -2-6-3-5”，再根据区位码表得到汉字信息“大家好”。
在实际训练中，听障人群只需要通过手语老师的配合，理解刺激方案，记忆从0～9这十个数字的刺激方式，经过一定时间的反复训练，便可以达到辨识语音的效果。
Claims (1)
1.一种听障人群的语音辨识方法，包括以下步骤：
第一，采集语音信号并通过音频放大器进行预处理，具体做法是：
利用麦克风采集谈话者的语音信号，并将采集到的信号经音频放大器进行信号放大；
第二，放大后的语音信号利用微处理器完成信号的模数转换A/D、信号的语音处理、查询区位码并依据使用者设置的最大刺激强度或默认强度来确定皮肤刺激方案，将处理后的数字串信号由数模转换器D/A转换后输出，具体做法是：
微处理器中的模数转换器ADC对音频放大器放大后的语音信号进行A/D转换，即将语音模拟信号转换为语音数字信号，经过模数转换器ADC转换后的语音数字信号进入语音信号处理器处理并转化为汉字信息，再通过查询微处理器中设有的区位码表找出该汉字信息所对应的四位十进制的数字信息，通过对应的数字信息并依据使用者设置的最大刺激强度或默认强度来确定皮肤刺激方案，刺激方案中的刺激强度分为低、中、高三种级别，对三种级别进行特定组合后分别对应于0～9的数字信息，其中一个数字由1～3个刺激信号组成，每个数字之间有“短”间隔，一个汉字编码由4个数字组成，每个汉字编码之间有“长”间隔，最后，依据语音信息确定的特定数字串经D/A转换器输出至升压模块；
第三，通过输出级信号处理模块完成对模拟信号的升压并通过电极对皮肤产生刺激，具体做法是：
通过输出级信号处理模块的升压装置将D/A转换后的信号进行后级升压，利用平面电极完成对听障人群皮肤的刺激，预先，听障用户可以依据自己的承受能力调节旋钮，设定刺激强度级别，听障用户感受到特定数字串刺激后，可将该刺激辨识成数字信息，同时依据该数字信息确定对话者的话语内容，实际训练时，听障用户可利用掌上电脑或区位字典查询区位码表，经反复练习后即可达到辨识语音的最佳效果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2011102459140A CN102426839B (zh) | 2011-08-25 | 2011-08-25 | 一种听障人群的语音辨识方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2011102459140A CN102426839B (zh) | 2011-08-25 | 2011-08-25 | 一种听障人群的语音辨识方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102426839A CN102426839A (zh) | 2012-04-25 |
| CN102426839B true CN102426839B (zh) | 2013-02-27 |
Family
ID=45960813
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2011102459140A Active CN102426839B (zh) | 2011-08-25 | 2011-08-25 | 一种听障人群的语音辨识方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102426839B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103578328B (zh) * | 2012-08-08 | 2016-05-25 | 塞舌尔商元鼎音讯股份有限公司 | 了解听障者听力的方法 |
| EP3509549A4 (en) * | 2016-09-06 | 2020-04-01 | Neosensory, Inc. | METHOD AND SYSTEM FOR PROVIDING ADDITIONAL SENSORY INFORMATION TO A USER |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1593361A (zh) * | 2004-06-24 | 2005-03-16 | 陕西科技大学 | 变压式皮肤听声器 |
| CN201701377U (zh) * | 2010-05-28 | 2011-01-12 | 陕西科技大学 | 多通道阵列升压式皮肤听声器 |
| CN201726531U (zh) * | 2009-07-02 | 2011-01-26 | 陕西科技大学 | 一种agc与动态放大相结合的助听器 |
| CN201920987U (zh) * | 2010-12-07 | 2011-08-10 | 陕西科技大学 | 一种基于莫尔斯码的皮肤听声器 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09206328A (ja) * | 1996-01-31 | 1997-08-12 | Hitachi Chem Co Ltd | 情報伝達装置 |
-
2011
- 2011-08-25 CN CN2011102459140A patent/CN102426839B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1593361A (zh) * | 2004-06-24 | 2005-03-16 | 陕西科技大学 | 变压式皮肤听声器 |
| CN201726531U (zh) * | 2009-07-02 | 2011-01-26 | 陕西科技大学 | 一种agc与动态放大相结合的助听器 |
| CN201701377U (zh) * | 2010-05-28 | 2011-01-12 | 陕西科技大学 | 多通道阵列升压式皮肤听声器 |
| CN201920987U (zh) * | 2010-12-07 | 2011-08-10 | 陕西科技大学 | 一种基于莫尔斯码的皮肤听声器 |
Non-Patent Citations (1)
| Title |
|---|
| JP特开平9-206328A 1997.08.12 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102426839A (zh) | 2012-04-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11819691B2 (en) | Method and system for use of hearing prosthesis for linguistic evaluation | |
| CN201920987U (zh) | 一种基于莫尔斯码的皮肤听声器 | |
| TW201208636A (en) | Method and mobile device for awareness of linguistic ability | |
| Nejime et al. | A portable digital speech-rate converter for hearing impairment | |
| CN103279734A (zh) | 新型的智能手语翻译与人机交互系统及其使用方法 | |
| Watson | Oralism—Current policy and practice | |
| CN104835505A (zh) | 一种正常人与聋、哑、盲人群的对话装置及其使用方法 | |
| Ertmer et al. | A comparison of vowel production by children with multichannel cochlear implants or tactile aids: Perceptual evidence | |
| CN108320625A (zh) | 面向言语康复的震动反馈系统及装置 | |
| CN102426839B (zh) | 一种听障人群的语音辨识方法 | |
| Pisoni | Speech perception in deaf children with cochlear implants | |
| CN204614443U (zh) | 一种正常人与聋、哑、盲人群的对话装置 | |
| Ifukube | Sound-based assistive technology | |
| Loebach et al. | Transfer of auditory perceptual learning with spectrally reduced speech to speech and nonspeech tasks: implications for cochlear implants | |
| CN106255026A (zh) | 基于语音模式识别和振动反馈的助残装置及交互方法 | |
| Elmahdy et al. | Subvocal speech recognition via close-talk microphone and surface electromyogram using deep learning | |
| Yuan et al. | Non-acoustic speech sensing system based on flexible piezoelectric | |
| Iwasaki et al. | Contribution of speech rate to speech perception in multichannel cochlear implant users | |
| CN209234005U (zh) | 返声功能部件及辅助外语口语训练的隔音反馈耳机 | |
| CN201965928U (zh) | 具有单词翻译功能的mp3播放器 | |
| CN1281200C (zh) | 变压式皮肤听声器 | |
| CN106714064B (zh) | 一种人工耳蜗音频实时处理方法 | |
| CN106056983A (zh) | 一种听力训练方法、装置及终端 | |
| CN204990296U (zh) | 一种基于fpga的语音手势转换装置 | |
| Hirsh | Auditory training |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20201126 Address after: 808, floor 8, building B, business center, gangzhilong science and Technology Park, No. 6, Qinglong Road, Qinghua community, Longhua street, Longhua District, Shenzhen City, Guangdong Province Patentee after: Shenzhen Pengbo Information Technology Co.,Ltd. Address before: 710021 Shaanxi province Xi'an Weiyang university campus of Shaanxi University of Science and Technology Patentee before: SHAANXI University OF SCIENCE & TECHNOLOGY Effective date of registration: 20201126 Address after: 221000 Hanwang toll station east of Zhujiang Road, Hanwang Town, Tongshan District, Xuzhou City, Jiangsu Province, 100m Patentee after: XUZHOU MEISHITONG ELECTRIC VEHICLE Co.,Ltd. Address before: 808, floor 8, building B, business center, gangzhilong science and Technology Park, No. 6, Qinglong Road, Qinghua community, Longhua street, Longhua District, Shenzhen City, Guangdong Province Patentee before: Shenzhen Pengbo Information Technology Co.,Ltd. |
|
| TR01 | Transfer of patent right |