CN101310695A - 基于移动电话和结合语音声调信息的人工电子耳蜗 - Google Patents

基于移动电话和结合语音声调信息的人工电子耳蜗 Download PDF

Info

Publication number
CN101310695A
CN101310695A CNA200710109202XA CN200710109202A CN101310695A CN 101310695 A CN101310695 A CN 101310695A CN A200710109202X A CNA200710109202X A CN A200710109202XA CN 200710109202 A CN200710109202 A CN 200710109202A CN 101310695 A CN101310695 A CN 101310695A
Authority
CN
China
Prior art keywords
mobile phone
signal
cochlear implant
voice
tone information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA200710109202XA
Other languages
English (en)
Inventor
张元亭
陈霏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chinese University of Hong Kong CUHK
Original Assignee
Chinese University of Hong Kong CUHK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chinese University of Hong Kong CUHK filed Critical Chinese University of Hong Kong CUHK
Priority to CNA200710109202XA priority Critical patent/CN101310695A/zh
Publication of CN101310695A publication Critical patent/CN101310695A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Prostheses (AREA)

Abstract

一种基于移动电话和结合语音声调信息的人工电子耳蜗,属于电子信息技术和医疗器械领域。本发明装置包括置于移动电话内部的具有声调信息提取模块的语音处理器,与移动电话相连的多通道脉冲信号发送器,及植入耳内的脉冲信号接收器和刺激电极。语音处理器由移动电话内部的微处理器来实现,其可以对由移动电话提供的多种语音信号进行放大和数字化处理,并分解成多通道的电信号,用以调节电脉冲的幅度;语音处理器的声调信息提取模块从语音信号中提取声调信息,用来调节多通道电脉冲的刺激速率。电脉冲信号经由发送器和耳内的接收器,最终传送至植入耳蜗内的刺激电极,直接刺激内耳残留的听觉神经,恢复深度听力损伤者的听力。本发明装置以日益普及的移动电话作为人工电子耳蜗的语音信号处理平台,可以降低传统人工电子耳蜗语音处理器的体积。耳聋患者可以通过移动电话的麦克风收听附近环境的声音,还可以直接使用移动电话进行移动通讯,具有降低收听移动电话时环境噪声干扰的优点。同时,由于语音处理器包括了声调信息处理技术,使得此人工电子耳蜗尤其适用于使用声调语言(例如普通话和广东话)的耳聋患者。

Description

基于移动电话和结合语音声调信息的人工电子耳蜗
技术领域
本发明涉及一种基于移动电话和结合语音声调信息的人工电子耳蜗,属于电子信息技术和医疗器械领域。
背景技术
听力损伤是当代社会一种较普遍的疾病,目前,就我国而言,听力障碍病人高于2000万,其中有600万是全聋人,同时,每年还有3万多的新生聋儿。因聋而哑,这些耳聋患者无法用语言与人交流,给社会、家庭和个人带来沉重的经济负担和心理压力。
人工电子耳蜗是当前公认的能够恢复深度耳聋和全聋患者听力的唯一方法。人工电子耳蜗与传统助听器最大的不同在于,助听器依赖于耳聋病人残留的听觉功能将声音放大,如果病损的听觉功能有限,那么助听器的作用也受限,所以助听器一般只可以帮助轻度和中度听觉损伤的人恢复听力,对于众多深度耳聋患者,助听器就难以提高语言的分辨率。
人工电子耳蜗是一种用电刺激的方法恢复全聋人听觉的装置,其功能是基于对正常人的外耳、中耳、内耳耳蜗等外周听觉系统生理功能的模仿。在外周听觉系统中,内耳的耳蜗是听觉功能的核心部分,耳蜗是一种声、电换能器官,它将声音振动转换为电信号,并用以使耳蜗内的听觉神经兴奋。
传统人工电子耳蜗装置主要包括两个部分,一部分是体外语音处理器,主要是语音信号的分析处理,包括:方向性麦克风、语音处理器及发送器;另一部分是体内的接收器和刺激电极。其主要工作原理是:声音信号经过方向性麦克风接收后,被转换成电信号,然后传送至语音处理器;语音处理器对语音信号进行分频段处理,产生对应电极的电流刺激信号,电流刺激信号由发送器传送到接收器,并传送至适当的电极,直接刺激内耳的听神经纤维,再传至大脑,形成听觉。植入性人工电子耳蜗的数个电极,分别刺激不同部位的听觉神经末梢,从而分辨不同频率的声音,达到改善听力和提高语言分辨能力的功效。
但是,使用传统人工电子耳蜗的耳聋患者在收听电话的时候,存在语音识别率不高的问题,其中一个主要原因是,语音信号由话机(例如移动电话)传送到人工电子耳蜗麦克风的过程中,会受到相当多的环境噪声的干扰,周围环境的噪声一起被麦克风接收,影响人工耳蜗的语音识别率,(参见H.F.Qian,P.C.Loizou和M.F.Dorma的“A Phone-Assistive DeviceBased on Bluetooth Technique for Cochlear Implant Users”,IEEE Trans.Biomed.Eng.,Vol.11:282-287,2003),使得人工电子耳蜗的使用者目前还不能够有效地使用移动电话进行交流。
另一方面,传统的人工电子耳蜗语音处理器主要处理英语等非声调语言,实验发现,使用此类语音处理器,并不能充分传递声调给使用者,因此对于使用声调语言的患者而言,其语音识别率并不理想(参见C.G.Wei,K.L Cao和F.G.Zeng的“Mandarin tone recognition in cochlear-implantsubjects”,Hearing Research,vol.197:87-95,2004.),还不能够尽情地识别和享受高质量的声音(例如声调语言和音乐),人工电子耳蜗还没有充分发挥其应有的功效。
发明内容
针对现有人工电子耳蜗设备在收听移动电话时,由于受到环境噪声干扰而语音分辨率不高的缺陷,本发明提出一个新型的人工电子耳蜗设备。由于语音处理器置于移动电话内部,这样移动电话所传输的声音信号就可以直接输入到语音处理器,减少了信号传递过程中诸多的噪声干扰,有利于提高人工电子耳蜗的语音识别率。本发明设备以普及率相当高的移动电话作为人工电子耳蜗的语音信号处理平台,可以降低额外设计人工电子耳蜗语音处理器而需要的设置,一方面避免了资源的重复浪费,降低设计的成本,极大发挥了移动电话的经济效益,另一方面耳聋患者使用起来也较为方便,只需要随身携带一个移动电话,就既可以当作人工电子耳蜗收听周围环境的声音信号,又可以用作移动电话来进行正常的移动通信。同时,移动电话的众多功能设置给人工电子耳蜗的使用提供了更多的灵活性。语音处理器可以接受AM/FM无线电信号及其它由移动电话音频输入接口提供的声音信号,这样耳聋患者就可以收听无线电节目、CD等。
同时,以移动电话内高集成度微处理器为主的语音处理器,能够实现较强功能的语音处理算法对语音信号进行处理,改善人工电子耳蜗使用者的语音识别率。生理试验已经发现,适当改变电子耳蜗的电脉冲刺激速率,耳聋患者可以感受到不同的声调信息。因此,本发明的语音处理器中增加了声调信息提取模块,用其提取到的声调信息来对电脉冲的速率进行编码调制,达到传递声调信息的功能,使得此人工电子耳蜗尤其适用于使用声调语言(例如普通话和广东话)的耳聋患者。
附图说明
图1为基于移动电话、结合语音声调信息的人工电子耳蜗的结构示意图;
图2为内置人工电子耳蜗语音处理器的移动电话的示意图;
图3为耳聋患者使用移动电话式人工电子耳蜗的示意图;
图4为基于移动电话、结合语音声调信息的人工电子耳蜗的工作流程图;
图5为图4中语音处理器选择工作方式/声源的流程图;
图6为基于移动电话、结合语音声调信息的人工电子耳蜗提取声调信息和产生电脉冲信号的工作流程图。
具体实施方式
图1是本发明的基于移动电话、结合语音声调信息的人工电子耳蜗的结构示意图。与传统人工电子耳蜗的区别是,1)体外的语音处理器102被集成到移动电话100的内部;2)利用移动电话的麦克风101来接收周围环境的声音信号;3)由改装了的移动电话耳麦导线106将语音处理器产生的电脉冲信号传送至发送器103。此后,电脉冲信号通过植入耳内的接收器104,传递至适当的电极105,直接刺激内耳的听神经纤维,形成听觉。
语音处理器的信号输入端还可以切换到移动电话的扬声器107端,直接收听移动电话网络传送来的声音信号。同时,语音处理器可以处理其它声音源的信号,包括来自模拟/数字式输入端口108/109的声音信号、AM/FM无线电信号110、以及移动电话内部器111所存储的数字式声音等。
图2是本发明的移动电话示意图,包括了内含人工电子耳蜗语音处理器的移动电话100和改装了的耳麦线106。移动电话的麦克风101用来接收周围环境的声音信号,“功能”按键200可以用来选择移动电话和人工电子耳蜗的工作方式(见图5中的详述),使用者可以通过“上”/“下”按键201/202,或者数字按键选择语音处理器处理声音的来源。使用者也可以用数字按键选中某一通道的调制信号,用“强度增/减”按键203/204来改变该通道声音的强度或者电脉冲的频率。
耳麦线的一端连到语音处理器的输出端,另一端连到信号发送器103。当语音处理器处于“移动通信”工作方式时,使用者通过耳麦线上的麦克风205进行移动通信。
图3是耳聋患者使用移动电话式人工电子耳蜗的示意图。使用者将移动电话100配带在身上,耳麦线106末端的发送器103被固定到耳部。使用者可以通过移动电话的麦克风101收听附近环境的声音,同时还可以使用移动电话进行移动通信。
图4是基于移动电话、结合语音声调信息的人工电子耳蜗的工作流程图。使用者打开移动电话后,首先选择移动电话的工作方式(见图5中的详述)。如果用户选择了模拟式声源,该声音将通过信号放大和数字化处理112,然后输至语音处理器;如果用户选择了数字式声源,数字信号将直接输至语音处理器。
语音处理器根据图6所示的步骤得到多通道语音信号包络信号,用以调制电脉冲信号606的幅度。耳聋患者可以根据自身是否使用声调语言来确定是否启用语音处理器中的声调信息处理模块604,提取出的声调信息用以调制电脉冲信号606的速率。最后,经过幅度/速率调制后的多通道电脉冲信号被传送至发送器103。
图5是本发明人工电子耳蜗的语音处理器选择工作方式/声源的流程图。当关闭语音处理器后,移动电话工作于“普通移动电话”方式,可以被正常听力使用者使用;当开启语音处理器后,移动电话被用作“人工电子耳蜗”方式,供耳聋患者使用。此时,移动电话内的语音处理器给耳聋患者提供了多种工作方式及声源选择,包括1)“普通工作方式”,接收由移动电话的麦克风101接收附近环境的声音;2)“移动通讯工作方式”,接收由移动电话天线接收的来自移动通信网络的信号;3)外接的模拟声音输入信号108;4)外接的声音数字流输入109;5)移动电话内置AM/FM解码器110提供的AM/FM无线电信号;和6)移动电话内部存储的数字式声音信号111。
图6是基于移动电话、结合语音声调信息的人工电子耳蜗提取声调信息和产生电脉冲信号的工作流程图。数字式的声音信号首先由一组带通滤波器601分割成多通道的声音信号,然后,每一通道的信号再经过整流和低通滤波602以得到各通道的包络信号,信号的强度再由幅度压缩器603调节到人耳适应的强度范围,最后,包络信号用来调制电脉冲信号606的幅度。多通道电脉冲信号606以相同的速率工作于连续交替取样方式下,确保瞬时只有单一通道传递电脉冲信息,减少通道间的相互干扰。
声调提取模块604首先从声调语言中提取声调信息,然后通过电脉冲速率编码器605对多通道的电脉冲信号606的速率进行编码
r电脉冲=f(F0)
其中r是多通道电脉冲信号的工作速率,F0是与声调相关的语音信号的基频信息。

Claims (15)

1.一种基于移动电话和结合语音声调信息的人工电子耳蜗,包括置于移动电话内部的具有声调信息提取模块的语音处理器,与移动电话相连的多通道电脉冲信号发送器,及植入耳内的接收器和刺激电极。
2.如权利要求1所述的人工电子耳蜗,其特征在于,语音处理器由移动电话内部的微处理器及相关信号处理电路实现。
3.如权利要求1所述的人工电子耳蜗,其特征在于,语音处理器具有两种工作方式:
a)普通工作方式:语音处理器的输入信号是移动电话麦克风所接收的附近环境的声音信号;
b)移动通信工作方式:语音处理器的输入信号是移动电话接收的由移动通信网络传递的语音信号,在此工作方式下,耳聋患者可以通过移动电话和远端的电话使用者进行语言交流。
4.如权利要求1所述的人工电子耳蜗,其特征在于,语音处理器对接收到的语音信号进行预处理,包括:
a)模拟式语音信号的放大和数字化处理;和
b)数字式语音信号通过多通道带通滤波、整流及低通滤波处理,得到多通道的语音包络信号。
5.如权利要求1所述的人工电子耳蜗,其特征在于,语音处理器包括多通道电脉冲信号发生器,其中,
a)电脉冲信号的幅度受语音包络信号的调制;
b)多通道的电脉冲信号以相同的速率工作在连续交替取样方式下。
6.如权利要求1所述的人工电子耳蜗,其特征在于,语音处理器内部的声调信息提取模块,提取语音信号中包括语音基频信息在内的声调信息,其中,
a)声调信息提取模块可以采用多种算法,包括频谱分析,自相关分析等;
b)声调信息提取模块检测得到的声调信息将用来调节多通道电脉冲信号的速率。
7.如权利要求1所述的人工电子耳蜗,其特征在于,可以根据耳聋患者所使用的语言特征,决定是否启用声调信息提取模块,
a)当患者是使用非声调语言时,患者可以关闭声调信息提取模块,此时多通道的电脉冲工作于恒定的速率;
b)当患者是使用声调语言时,患者可以开启声调信息提取模块。
8.如权利要求1所述的人工电子耳蜗,其特征在于,语音处理器能够自动调节语音信号的放大增益,使耳聋患者收听适当强度的声音信号,避免受到过强的电脉冲刺激。
9.如权利要求1所述的人工电子耳蜗,其特征在于,为了达到较理想的听觉识别效果,耳聋患者可以
a)手动调节各个通道语音包络信号的幅度;和
b)手动调节各个通道电脉冲的速率。
10.如权利要求1所述的人工电子耳蜗,其特征在于,耳聋患者调节语音信号幅度和电脉冲速率的时候,可以
a)用移动电话上的数字按键选择所需要调节的通道;和
b)用移动电话上的“强度增/减”按键来调节语音信号幅度或电脉冲速率。
11.如权利要求1所述的人工电子耳蜗,其特征在于,移动电话的耳麦线将多通道电脉冲信号传送到固定于耳部的发送器。
12.如权利要求1所述的人工电子耳蜗,其特征在于,刺激电极可以包括多个电极。
13.如权利要求1所述的人工电子耳蜗,其特征在于,移动电话上配有多种声音信号输入接口,声音信号包括但不限于
a)CD、MP3等数字式音频信号;
b)存储在移动电话内部存储器内的数字化音频信号;
c)AM/FM无线电信号。
14.如权利要求1所述的人工电子耳蜗,其特征在于,语音处理器所需的电源由移动电话提供。
15.如权利要求1所述的人工电子耳蜗,其特征在于,当关闭语音处理器后,正常听力使用者可以继续使用移动电话。
CNA200710109202XA 2007-05-21 2007-05-21 基于移动电话和结合语音声调信息的人工电子耳蜗 Pending CN101310695A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CNA200710109202XA CN101310695A (zh) 2007-05-21 2007-05-21 基于移动电话和结合语音声调信息的人工电子耳蜗

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNA200710109202XA CN101310695A (zh) 2007-05-21 2007-05-21 基于移动电话和结合语音声调信息的人工电子耳蜗

Publications (1)

Publication Number Publication Date
CN101310695A true CN101310695A (zh) 2008-11-26

Family

ID=40099659

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA200710109202XA Pending CN101310695A (zh) 2007-05-21 2007-05-21 基于移动电话和结合语音声调信息的人工电子耳蜗

Country Status (1)

Country Link
CN (1) CN101310695A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105634535A (zh) * 2016-01-25 2016-06-01 南京微传物联网科技有限公司 一种基于人工耳蜗原理的智能无线传感器网络节点
CN105999546A (zh) * 2016-06-24 2016-10-12 沈阳弘鼎康医疗器械有限公司 一种人工耳蜗及其声音处理方法
CN107708794A (zh) * 2015-06-29 2018-02-16 Med-El电气医疗器械有限公司 具有耳蜗植入物的选择性刺激
CN109966022A (zh) * 2017-12-27 2019-07-05 上海力声特医学科技有限公司 人工耳蜗语音处理装置、移动终端、及人工耳蜗
CN111050262A (zh) * 2020-01-10 2020-04-21 杭州耳青聪科技有限公司 一种智能语音增强的实时电子耳蜗调试系统
CN111201801A (zh) * 2017-10-09 2020-05-26 深度电子股份有限公司 音乐项圈

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107708794A (zh) * 2015-06-29 2018-02-16 Med-El电气医疗器械有限公司 具有耳蜗植入物的选择性刺激
CN107708794B (zh) * 2015-06-29 2020-12-29 Med-El电气医疗器械有限公司 具有耳蜗植入物的选择性刺激
CN105634535A (zh) * 2016-01-25 2016-06-01 南京微传物联网科技有限公司 一种基于人工耳蜗原理的智能无线传感器网络节点
CN105634535B (zh) * 2016-01-25 2017-11-21 南京微传物联网科技有限公司 一种基于人工耳蜗原理的智能无线传感器网络节点
CN105999546A (zh) * 2016-06-24 2016-10-12 沈阳弘鼎康医疗器械有限公司 一种人工耳蜗及其声音处理方法
CN111201801A (zh) * 2017-10-09 2020-05-26 深度电子股份有限公司 音乐项圈
CN109966022A (zh) * 2017-12-27 2019-07-05 上海力声特医学科技有限公司 人工耳蜗语音处理装置、移动终端、及人工耳蜗
CN111050262A (zh) * 2020-01-10 2020-04-21 杭州耳青聪科技有限公司 一种智能语音增强的实时电子耳蜗调试系统

Similar Documents

Publication Publication Date Title
EP2882204B2 (en) Hearing aid device for hands free communication
CN101163354B (zh) 用于运行助听器的方法以及助听器
US11510019B2 (en) Hearing aid system for estimating acoustic transfer functions
CN103986995B (zh) 减少音频处理装置中的不相关噪声的方法
CN105813688B (zh) 用于听力植入物中的瞬态声音修改的装置
CN105848078A (zh) 双耳听力系统
CN201920987U (zh) 一种基于莫尔斯码的皮肤听声器
US10129672B2 (en) Hearing device comprising a signal generator for masking tinnitus
CN209642968U (zh) 骨导气导双式助听器
CN101310695A (zh) 基于移动电话和结合语音声调信息的人工电子耳蜗
CN207744142U (zh) 一种多功能骨传导助听系统
Hansen et al. CCi-MOBILE: Design and evaluation of a cochlear implant and hearing aid research platform for speech scientists and engineers
CN105999546A (zh) 一种人工耳蜗及其声音处理方法
CN105434084A (zh) 一种移动设备、体外机、人工耳蜗系统及语音处理方法
CN105393559A (zh) 用于个人通信设备的无线控制系统
US11589173B2 (en) Hearing aid comprising a record and replay function
EP2078442B1 (en) Hearing assistance system including data logging capability and method of operating the same
JP4130443B2 (ja) マイクロフォン、信号処理装置、コミュニケーションインタフェースシステム、音声話者認証システム、nam音対応玩具装置
CN201701377U (zh) 多通道阵列升压式皮肤听声器
CN114363456A (zh) 一种改善语言障碍的声音优化处理系统
CN101703436A (zh) 多通道阵列式皮肤听声器
CN206045189U (zh) 一种人工耳蜗
CN203017183U (zh) 一种分体式多通道皮肤听声器
CN204092275U (zh) 一种人工耳蜗的语音转换装置以及人工耳蜗
Shimokura Hearing Aids

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20081126