CN111768802B - 一种人工耳蜗语音处理方法及系统 - Google Patents
一种人工耳蜗语音处理方法及系统 Download PDFInfo
- Publication number
- CN111768802B CN111768802B CN202010913039.8A CN202010913039A CN111768802B CN 111768802 B CN111768802 B CN 111768802B CN 202010913039 A CN202010913039 A CN 202010913039A CN 111768802 B CN111768802 B CN 111768802B
- Authority
- CN
- China
- Prior art keywords
- sound
- electrode
- frequency
- cochlear implant
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 29
- 210000003477 cochlea Anatomy 0.000 title claims abstract description 20
- 239000007943 implant Substances 0.000 claims abstract description 88
- 238000000034 method Methods 0.000 claims abstract description 62
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 51
- 230000006870 function Effects 0.000 claims abstract description 51
- 230000005236 sound signal Effects 0.000 claims abstract description 44
- 230000000638 stimulation Effects 0.000 claims abstract description 30
- 238000012545 processing Methods 0.000 claims description 27
- 238000004458 analytical method Methods 0.000 claims description 20
- 230000003044 adaptive effect Effects 0.000 claims description 15
- 238000005070 sampling Methods 0.000 claims description 8
- 230000008054 signal transmission Effects 0.000 claims description 6
- 238000012074 hearing test Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 5
- 238000013473 artificial intelligence Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims description 3
- 230000006835 compression Effects 0.000 claims description 2
- 238000007906 compression Methods 0.000 claims description 2
- 230000013707 sensory perception of sound Effects 0.000 description 17
- 208000016354 hearing loss disease Diseases 0.000 description 10
- 210000000067 inner hair cell Anatomy 0.000 description 8
- 206010011878 Deafness Diseases 0.000 description 7
- 238000001914 filtration Methods 0.000 description 6
- 238000004088 simulation Methods 0.000 description 6
- 230000003321 amplification Effects 0.000 description 5
- 210000003926 auditory cortex Anatomy 0.000 description 5
- 238000013461 design Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 238000003199 nucleic acid amplification method Methods 0.000 description 5
- 238000001228 spectrum Methods 0.000 description 5
- 208000032041 Hearing impaired Diseases 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000001537 neural effect Effects 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 230000005788 Cochlea function Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 231100000895 deafness Toxicity 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 210000002768 hair cell Anatomy 0.000 description 3
- 230000001629 suppression Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 210000002469 basement membrane Anatomy 0.000 description 2
- 210000000860 cochlear nerve Anatomy 0.000 description 2
- 210000003027 ear inner Anatomy 0.000 description 2
- 210000000959 ear middle Anatomy 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 231100000888 hearing loss Toxicity 0.000 description 2
- 230000010370 hearing loss Effects 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 210000004379 membrane Anatomy 0.000 description 2
- 239000012528 membrane Substances 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000005316 response function Methods 0.000 description 2
- 230000033764 rhythmic process Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000010183 spectrum analysis Methods 0.000 description 2
- 210000001323 spiral ganglion Anatomy 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000003461 thalamocortical effect Effects 0.000 description 2
- 206010010356 Congenital anomaly Diseases 0.000 description 1
- 206010011891 Deafness neurosensory Diseases 0.000 description 1
- 241000878128 Malleus Species 0.000 description 1
- 206010036626 Presbyacusis Diseases 0.000 description 1
- 208000009966 Sensorineural Hearing Loss Diseases 0.000 description 1
- 230000036982 action potential Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000000133 brain stem Anatomy 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000004064 dysfunction Effects 0.000 description 1
- 210000000613 ear canal Anatomy 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000001785 incus Anatomy 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 210000002331 malleus Anatomy 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 208000009800 presbycusis Diseases 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 231100000879 sensorineural hearing loss Toxicity 0.000 description 1
- 208000023573 sensorineural hearing loss disease Diseases 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 210000001050 stape Anatomy 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000003454 tympanic membrane Anatomy 0.000 description 1
- 210000001260 vocal cord Anatomy 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N1/00—Electrotherapy; Circuits therefor
- A61N1/02—Details
- A61N1/04—Electrodes
- A61N1/05—Electrodes for implantation or insertion into the body, e.g. heart electrode
- A61N1/0526—Head electrodes
- A61N1/0541—Cochlear electrodes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N1/00—Electrotherapy; Circuits therefor
- A61N1/18—Applying electric currents by contact electrodes
- A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
- A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
- A61N1/36036—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation of the outer, middle or inner ear
- A61N1/36038—Cochlear stimulation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
- G10L21/16—Transforming into a non-visible representation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L2021/02087—Noise filtering the noise being separate speech, e.g. cocktail party
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Otolaryngology (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Quality & Reliability (AREA)
- Cardiology (AREA)
- Heart & Thoracic Surgery (AREA)
- Data Mining & Analysis (AREA)
- Prostheses (AREA)
Abstract
本发明公开一种人工耳蜗语音处理方法及系统。该方法包括：取得声音信号，将声音信号转化为数字信号；将所述数字信号采用模态分解方法进行分解，取得多个本征模态函数分量，将该多个本征模态函数转换为瞬时频率和瞬时幅度；将所述瞬时频率进行分类，使其与人工耳蜗中预设的电极频段相对应；从对应的电极频段中挑选N个能量最高的电极频段分量，根据所选择的电极频段分量生成对应的电极刺激信号。本发明基于希尔伯特‑黄变换，对声音在时域上进行分析，不受不确定性原理限制，且不存在因谐波而产生的噪声。
Description
技术领域
本发明涉及人工耳蜗领域，特别涉及一种人工耳蜗语音处理方法及系统。
背景技术
与选择性放大声音的助听器不同，人工耳蜗（Cochlear Implants）必须将声音信号直接传输到耳朵的传入听觉神经，然后传输到初级听力皮层来产生声音。因此，耳蜗植入物直接为初级听觉皮层产生声音的感觉。从这个意义上讲，人工耳蜗是一种治疗方法，而不仅是一种修复方法，用于治疗由于中耳和内耳的损伤或缺损而导致的严重听力丧失甚至完全性耳聋。它绕过了耳朵的受损部分，将经过处理的信号直接传递到听觉神经。当前的人工耳蜗都是基于错误的假设，即人工耳蜗是基于生物学上的傅里叶分析或者基于傅里叶滤波器组。为了克服目前人工耳蜗设计的缺陷，本发明的方法是基于直接在时域中工作的自适应经验模态分解方法（EMD），其适用于非线性和非稳态的数据，不受不确定性原理的限制。它将耳蜗视为基于EMD的滤波器组，为当前面临的大多数挑战提供了解决方案。
从广义上来讲，此处使用的术语“人工耳蜗”，还应当包括脑干植入物和骨传导听力植入物。
（1）听力机制
在正常的耳朵中，当与声音信号相关的压力波通过鼓膜上的外耳道撞击传播时，声音信号被感知为声音。该振动通过听骨（包括锤骨、砧骨和镫骨）机制放大到耳蜗根部的卵圆窗上。卵圆窗处的振动随后在前庭中产生压力波，这将使柔软的基底膜和螺旋器以及毛细胞一起振动变形，然后触及弯曲毛细胞的覆盖膜。在波峰处弯曲的毛细胞将触发神经元发射产生电脉冲，这些电脉冲将穿过丘脑皮层系统，并传输到初级听觉皮层（PrimaryAuditory Cortex，PAC）进行处理，以产生之前听到的声音。
（2）听力损伤
在上述听觉形成机制上的任一环节出现问题均可能导致听力损失。如果中耳和内耳有任何功能障碍，将会阻止神经脉冲的产生和传播，从而无法到达初级听觉皮层，此时将出现感觉神经性听力损伤的情况。可以通过非侵入性助听器缓解部分听力损伤，这些听力损伤包括衰老（老年性耳聋），过度接触噪音即噪音引发的听力损伤（Noise Induce ofHearing Loss, NIHL），遗传（先天性听力损伤），药物中的毒素导致的耳聋等。但是，助听器对于中枢性耳聋完全没有用。对于严重的或者完全失聪的患者，由于不存在内毛细胞（inner hair cells, IHC），耳蜗植入物将提供帮助，该耳蜗植入物旨在通过将听觉刺激产生的电脉冲直接传递到丘脑皮层系统来代替内毛细胞的功能。对于严重的全耳聋听力障碍，耳蜗植入物可以提供有效的治疗方法。
在过去的三十年里，人工耳蜗开始获得广泛的认可。根据McDermott（2004）和Roche及Hansen（2015）的最新研究，尽管他们的表现总体上一般，但是植入物传递的声音可以减轻患者的完全隔离感，极大地改善他们的社交能力和生活质量。
（3）耳蜗植入物的原理
耳蜗植入物的设计原理与助听器存在根本的不同。助听器是基于声音的放大，更具体地说是声音的选择性放大。在产生声音并将其作为单个最终声音传递到耳朵之前，已经对声音刺激的组成部分进行修改和叠加。为了保持逼真度，必要条件仅要求声音组成部分的完整性。
耳蜗植入物是耳蜗内部毛细胞的替代品，需要这些声音组成在耳蜗植入物上适当位置的电极上产生适当的电刺激，初级听觉皮层的最终声音是所有刺激成分的总和。但是，由于植入物的长度有限，耳蜗植入物并不能完全替代3500个内毛细胞的功能。然而，耳蜗植入物不能很好地替代耳蜗，因为其缺少3500个自然内毛细胞提供的精细频率信息。综上所述，所有的人工耳蜗均因存在并发声源（尤其是音乐声）而惨败。
当前的耳蜗植入物系统的基本组件包括麦克风、语音处理单元（包括软件和电路），带有刺激器和接收器的感应线圈对以及电极。人工耳蜗的基本原理如下：声音信号首先由麦克风捕获，经过处理以提取一些基本参数，通过感应线圈作为电信号传递到植入的接收器。然后，电信号通过电极阵列传输到耳蜗中的螺旋神经节神经元，从而将电信号转换成局部动作电位并传递到初级听觉皮层。
但是人工耳蜗的核心是在任何给定时刻正确选择频段，这是本发明提出要实现的。在讨论电极选择原理之前，我们将首先讨论当前人工耳蜗设计的问题。
（4）当前的人工耳蜗设计存在的问题
当前人工耳蜗设计存在的问题的根源在于对声音的误解，并在此基础上建立了声音感知。自从亥姆霍兹发表著名的论断：“所有的声音，无论多么复杂，都可以在数学上分解为正弦波”以来，无论你是否知道该论断，声音都以傅里叶频率表示。但是这远非真相。尽管声学和听觉界都是研究声音，但是他们似乎在处理不同的主题。声学界将声音视为物理实体，并使用频率作为测量声音的标准。但是，由于某些看似异常的现象，听觉界发现了傅里叶分析中的一些缺陷，其将声音视为通过耳部机制被大脑感知的感觉，并使用音高来量化声音，但是遗憾的是音高无法客观衡量。然而，大多数听觉实验仍以频率表示。这使得声音的神经生物学听觉研究陷入困境。众所周知，要理解声音，我们需要感知载波的频率及其包络，这是傅里叶分析所无法满足的。
基于耳蜗功能的最初发现者冯·贝塞西（1974），其认为基底膜的运动是一种行波，其机理由流体力学原理决定。实际上，冯·贝塞西明确表示：“将傅里叶分析应用于听力问题越来越成为听力研究的障碍”。最近，Kim等人（2018，SPIE）和Motallebzadeh等人（2018，PNAS）根据流体力学原理用螺旋器对基底膜进行了建模，并完美地检验了其功能。
不幸的是，对于人工耳蜗系统，声音信号处理仍然仅基于傅里叶频谱分析。
人工耳蜗旨在用有限数量的电极代替内毛细胞（约3500个独立的内毛细胞）的功能。但是，存在一些严重的问题：首先，能容纳的电极的最大数量是有限的，大约25个，但是为了避免串扰，同时能激活的电极数量只有6个。其次，植入物只能覆盖耳蜗的 圈，而不是整个三圈，仅在基端附近占总长度的40%，但是会与60%的螺旋神经节细胞接触。这就是为什么会产生“吱吱作响”的类似老鼠声音的原因。第三，来自每个电极的声音组分在神经层上被矫正。不同的声音组分之间不存在抵消或合并的机会。
然而，基于Smith等人在2002年的研究，语音识别可以在声音成分的包络上完成。Shannon等人（1995年）证明，适当选择4个声音分量足以实现语言识别。结果，过去的经验表明，声音分量越少越好，这也是符合稀疏原理的。傅里叶分量当然不能满足该要求。实际上，电极越多越好，因为它们会产生更好的频率差异。更多的电极将导致不同通道之间的“串扰”，而性能却没有明显的改善。还有一些其他的声音处理方法，如同步模拟信号（Simultaneous Analog Signal，SAP），压缩分析（Compressive Analysis，CA）,连续交错采样（Continuous Interleaved Sampling，CIS），高分辨率设备（High Resolution devices，HiRes），高级组合编码器（Advanced Combinatorial Encoders，ACE），动态峰值拾取（Dynamic Peak Picking），频谱峰值（Spectral Peak，SPEAK），电流导引（CurrentSteering）等。尽管采用了新的处理方法，但是所有可用算法都不比其他任何算法明显优越。
如McDermott（2004）和Schnupp等人（2011）总结的那样，所有的问题都是因为傅里叶滤波器组存在缺陷，主要缺陷如下：
（1）一般而言，植入者在一定的培训下可以很好地理解语音，但是音调感知通常很差，听觉训练可能会有所帮助；
（2）平均而言，植入者在听音乐的节奏与正常人听的节奏有关，但是旋律的识别能力很差，对于很多植入者而言，其表现并不比随机水平更好；
（3）对音色的感知通常令人不满意，与听觉正常者相比，植入者倾向于将接近刺耳声音附近的音乐评价为令人不愉快的音乐；
（4）对于具有可用听觉的植入者而言，至少对于低频声音，结合声学和电刺激，音乐的听觉可能会好得多。
这些问题深深根植于Huang和Yeh（2019）讨论的可听声音理论的误解。尽管听觉界集体接受将音高作为量化声音的公认标准，但是所有的试验都是基于傅里叶频率的，包括人工耳蜗。傅里叶分析是基于线性和平稳的假设，但是语音既不是线性的也不是平稳的。对于非线性信号，傅里叶分析将产生虚假的谐波，这将导致出现很多问题，如基音缺失等。
如果应用于人工耳蜗，谐波将会引起额外的问题。对于人工耳蜗而言，电极将只传递与调整后的频率分量成比例的电刺激。因此，人工产生的谐波失去了相互合并和抵消的机会，其被视为真实的声音信号。因此，其叠加总和将导致有害的噪声。这就是为什么电极数量越少，实际上如上所述的人工耳蜗的音质越好的原因。
在本发明中，我们将提出一种基于经验模态分解（EMD）的新方法，该方法是专为非线性和非线性信号而设计，具有稀疏表示，这非常适合人工耳蜗。
发明内容
本发明所要解决的技术问题在于提供一种人工耳蜗语音处理方法及系统，其基于经验模态分解（EMD或HHT, Hilbert-Huang Transform），通过本发明可以提供给定时间的声音的瞬时频率和能量，对声音信号进行精准的时间分析。采用本发明的人工耳蜗语音处理方法及系统，在同时存在多个声源时仍具有良好的表现，甚至可以进行音乐欣赏。
本发明基于经验模态分解（EMD）的特定的稀疏滤波器组以及精准的时间分析，其频率是由相位函数的微分，其不受不确定性原理的限制，而不是傅里叶分析中的积分变换。最重要的是，傅里叶分析将无法满足每个组分产生高保真声音所必须的稀疏原理，而满足稀疏原理是人工耳蜗的理想选择。
在本发明中，所有的声音信号将由它们的稀疏本征模态函数（Intrinsic ModeFunction, IMF）表示。正确的声音将基于给定时间的瞬时频率和能量。在进入本发明的详细实施方式之前，我们将介绍现有的基于傅里叶滤波器组的人工耳蜗系统与本发明的关键差异。本发明的关键是经验模态分解。区别于傅里叶分析中：
其中，振幅a j 和频率ω j 均为常数；我们将使用自适应经验模态分解（EMD），相同的数据x(t)根据本征模态函数c j (t)展开为：
其中，频率函数ω j (t)被定义为自适应确定的相位函数θ j (t)的时间导数，因此，从时间空间到频率空间的转换不再通过积分，而是通过微分，因此，频率不再是时间积分域上的平均值，而是具有瞬时值。对于人工耳蜗而言，此处至关重要的是，给出了振幅函数a j (t)，该函数会自动给出天然的包络线。
傅里叶扩展与EMD扩展之间的差异至关重要。
1.由于傅里叶展开是线性的，这是非常低效的，需要大量的扩展项来表示给定的信号；对于具有N个数据点的信号，傅里叶展开需要N/2项。通过EMD进行的相同数据扩展最多需要log 2 N项。傅里叶变换中的很多项都是由谐波组成的，这是完整性所必须的，但是他们实际上是虚假的，不应将其视为自然信号。
2.没有谐波的稀疏IMF正是人工耳蜗所需要的。在这里，我们可以看到不同之处：如果没有交叉分量消除，谐波将会产生噪声。这是人工耳蜗会产生噪音的主要原因之一。对于音乐，谐波将会更多。这就是为什么人工耳蜗植入者会听到接近刺耳的声音而不是优美的音乐旋律。
3.最关键的是，当声音是非线性的时，傅里叶分量不能不受到其他声源的干扰。正如无处不在的谐波所表明的那样，所有声音确实是非线性的，这些声音将无可救药地混合在一起。
根据上述对声音信号分析及人工耳蜗的详细知识，在本发明中，我们基于HHT对声音信号进行分析，可以提高人工耳蜗在多个声源环境中的表现，甚至可以欣赏音乐作品。
为了实现上述发明目的，本发明提供一种人工耳蜗语音处理方法，包括以下步骤：
取得声音信号，将声音信号转化为数字信号；将所述数字信号采用模态分解方法进行分解，取得多个本征模态函数分量（Intrinsic Mode Functions, IMFs），将该多个本征模态函数转换为瞬时频率和瞬时幅度；将所述瞬时频率进行分类，使其与人工耳蜗中预设的电极频段相对应；从对应的电极频段中挑选N个能量最高的电极频段分量，根据所选择的分量生成对应的电极刺激信号。本方案的优点在于：本方案中使用的频率是瞬时频率，因此其不受不确定性原理的限制；此外，本发明的人工耳蜗语音处理方法中，采用模态分解方法对数字信号进行分解，将不会产生谐波，每一个电信号都代表声音的真实神经信号，因此，即使其叠加也不会产生不必要的噪声。
优选地，模态分解方法包括经验模态分解法，集合经验模态分解法，或者自适应性二进位遮罩经验模态分解法。
优选地，在对数字信号采用模态分解方法进行分解之前，采用以下方法之一抑制噪声：自适应滤波器方法或者人工智能方法。
优选地，在对数字信号采用模态分解方法进行分解之前，采用以下方法之一消除鸡尾酒会问题：计算机听觉场景分析、非负矩阵分解、生成式模型建模、波束成形、多通道盲源分离、深度聚类、深度吸引网络、排列不变性训练。
优选地，从对应的电极频段中挑选N个能量最高的电极频段分量，其中N≤6，且这些电极频段分量的能量值高于预设阈值。此处对电极频段的能量进行限制，主要是防止在语音停顿处产生不必要的噪声。
优选地，对挑选的本征模态函数分量进行校正时，包括自动增益控制，其根据患者的听力测试图谱调整每个电极刺激信号。
优选地，采用以下方法之一生成所述挑选的本征模态函数分量对应的电极的刺激信号：同步模拟信号、压缩分析、连续交错采样。
优选地，人工耳蜗中预设的电极频段与人工耳蜗中的电极一一对应，电极的数量大于等于20。在本发明中，人工耳蜗中电极的数量增加时，瞬时频率的分类也可以随之相应增加，电极数目的增加可使得电极产生的声音更加真实。
为了降低信号处理时间以及降低成本，本发明还提供另一种人工耳蜗语音处理方法，包括以下步骤： 取得声音信号，将声音信号转化为数字信号；将所述数字信号采用自适应滤波器组方法进行分解，取得多个类本征模态函数，将该多个类本征模态函数转换为瞬时频率和瞬时幅度；将所述瞬时频率进行分类，使其与人工耳蜗中预设的电极频段相对应；从对应的电极频段中挑选N个能量最高的电极频段分量，根据所选择的分量生成对应的电极刺激信号。采用自适应滤波器组的方法进行信号分解，可以有效提高信号处理的速度，降低成本。
优选地，自适应滤波器组为均值滤波器组或中值滤波器组。
本发明的另一方面，提供一种人工耳蜗语音处理系统，包括声音接收模块、声音处理模块和信号传输模块，其中：声音接收模块用于接收声音信号，并将声音信号转换为数字信号；声音处理模块用于对数字信号进行处理，得到多个本征模态函数或者多个类本征模态函数，将该多个本征模态函数或类本征模态函数转换为瞬时频率和瞬时幅度；将所述瞬时频率进行分类，使其与人工耳蜗中预设的电极频段相对应；从对应的电极频段中挑选N个能量最高的电极频段分量，根据所选择的电极频段分量生成对应的电极刺激信号； 信号传输模块用于将声音处理单元生成的电极刺激信号传输给人工耳蜗植入体中的电极，使电极产生声音所对应的刺激信号。
一贯以来，人们对声音存在误解，认为所有的声音信号都可以分解成正弦波，即声音用傅里叶频率表示。本发明克服了声音分析中的错误认知，基于希尔伯特-黄变换，对声音信号在时域上进行分析。利用本发明中的人工耳蜗语音处理方法及人工耳蜗语音处理系统，其对声音信号在时域上进行分析，使用的频率为瞬时频率，不受不确定性原理的限制；此外，在本发明中，每一个电信号都代表声音的真实神经信号而不会产生谐波，因此，也不存在不必要的噪声。
附图说明
图1为本发明中人工耳蜗语音处理方法的流程图。
图2是汉语“曾先生早”的声音信号图。
图3是图2中声音信号经过傅里叶带通滤波器组滤波后的声音分量图。
图4是图2中声音信号的傅里叶时间频率图。
图5是图2中的声音信号经过EMD分解后的声音分量图。
图6是图2中的声音信号的希尔伯特时间频率图。
图7是图2中的声音信号采用集合经验模态分解获得的IMF分量图，其噪声水平较低（1%），并且集合中仅有2个组成。
图8是图2中的声音信号采用集合经验模态分解获得的IMF分量图，其噪声水平较高（10%），并且集合中有16个组成。
图9是图5中给出的IMF的20电极频段模拟的时间频率图。
图10是图7中给出的IMF的20电极频段模拟的时间频率图。
图11是图8中给出的IMF的20电极频段模拟的时间频率图。
图12是本发明中人工耳蜗语音处理系统。
具体实施方式
以下配合附图及本发明的较佳实施例，进一步阐述本发明为达成预定发明目的所采取的技术手段。
实施例一：
请参照图1所示，图1为本发明人工耳蜗语音处理方法的详细实施方式。在步骤100中，将声音信号数字化，在进行声音数字化的过程中，采样频率可以根据需要进行选择。为了获得更高的保真度，可以采样高频率的采样频率，22KHz或者44KHz（其中22KHz和44KHz属于目前主流的采集卡使用的采样频率）。因为声音中，可能会出现一些噪声，需要将噪声抑制或者清除，在步骤110中，进行噪声抑制。在进行噪声抑制时，可以采用自适应滤波器，也可以采用人工智能方法，如RNN、DNN、MLP等方法。此外，“鸡尾酒会问题”也是在语音识别领域的一个重要问题，当前的语音识别技术已经可以较高精度地识别一个人所讲的话，但是当说话的人数为两人或者多人时，语音识别率就会极大地下降，这一难题称为鸡尾酒会问题。在步骤120中，消除鸡尾酒会问题，可以采用以下技术进行：针对于单通道情况时，可以通过计算机听觉场景分析（Computational Auditory Scene Analysis，CASA）、非负矩阵分解（Non-negative Matrix Factorization, NMF）以及生成式模型建模等方式消除鸡尾酒会问题；针对于多通道情况时，可以采用波束成形或者多通道盲源分离等技术消除鸡尾酒会问题；也可以采用一些基于深度学习的技术消除鸡尾酒会问题，如深度聚类（DeepClustering）、深度吸引网络（Deep Attractor Network，DANet）以及排列不变性训练（Permutation Invariant Training, PIT）等。
步骤200中，将过滤噪声之后的信号通过模态分解方法进行分解，得到声音信号的本征模态函数分量（IMF）。模态分解方法指本发明中利用任意一种可以取得本征模态函数分量的模态分解方法，例如经验模态分解法（Empirical Mode Decomposition, EMD），集合经模态分解法（Ensemble Empirical Mode Decomposition, EEMD）,或者自适应性二进位遮罩经验模态分解法（Conjugate Adaptive Dyadic Masking Empirical ModeDecomposition, CADM-EMD）。在步骤210中，将模态分解的结果转换为瞬时频率（Instantaneous Frequency, IF）和瞬时振幅（Instantaneous Amplitude, IA）。在步骤220中，我们将根据瞬时频率值从本征模态函数分量中分配到电极对应的频段中。电极的数量和电极所对应的频段是已经预先设定的，电极数量越多其频率分辨能力越强，达到的效果越好；但是多个电极之间可能存在串扰等问题且植入物的长度有限，可以容纳的电极数量也是有限的，因此，电极数量应适量。而电极所对应的频率应当根据声音的特点而定，对于声音频率较为集中的频段（如低于1000Hz），电极可以密集设置以提高对频率的分辨率；对于声音频率不集中的频段（如高于1000Hz），电极数量可以设置较少。为了遵循有限数量电极的原则，电极数量可以选取20个，我们指定的频率值为：80, 100, 128, 160, 200,256, 320, 400, 512, 640, 800, 1024, 1280, 1600, 2048, 2560,3200, 4096, 5120,6400, 8192。指定的这21个频率值限定了20个频段，每两个相邻的频率限定一个频段，第一个频段为80-100Hz，第二个频段为100-128Hz，……，第20个频段为6400-8192Hz；这20个频段与人工耳蜗中的电极相对应，每一个电极对应一个频段。从上述频率值可以发现，一个音阶中包含3个频率，用于区分同一音阶中的不同频率。在本发明中，更多的电极将改善频率差异，从而改善最终的声音质量。例如，可以改变高截止频率和低截止频率，我们可以在较小的总范围内部署最多25个电极，并实现更好的电极间频率差异，当电极数量为25个时，其对应的频率可以如下：50，64, 75, 90, 105, 128, 150, 180, 210, 256, 300, 360,420, 512, 600, 720, 840, 1024, 1200, 1440, 1680, 2048, 2400, 2880,3360, 4096。与20个电极类似，每一个电极对应一个频段，第一个电极对应的频段为50-64Hz，第二个电极对应的频段为64-75Hz，……，第二十五个电极对应的频段为3360-4096Hz。随着电极数量的增加，采用本发明中语音处理方法的人工耳蜗将获得越来越多的频率分辨能力。因为电极数量增加时，瞬时频率分类也可以随之相应增加，电极对声音的分辨率提高，因而电极产生的声音将更加真实。因此，使用88个电极时，我们应该能够充分享受钢琴的音乐。将本征模态函数分量对应到相应的电极频段之后，接着，在步骤230中，从对应的电极频段中挑选能量最高的分量，所挑选的电极数量不高于6个，且这些分量的能量高于预先设定的阈值。因为同时刺激多个电极时，电极之间将可能发生串扰，目前实验表明，电极数量不高于6个时，电极之间的影响较小。另外，此处进行阈值设定的目的在于，在语音中，因为不同的语句之间存在停顿，在停顿时，不需要电极刺激，且此时声音分量的能量值均较低，采用阈值将停顿处的弱能量分量进行过滤。阈值可以选取声音平均能量的10%-20%。
步骤300中，根据所选择的分量生成对应的电极刺激信号。可以采用以下方法生成电极信号：同步模拟信号（Simultaneous Analog Signal, SAS）、压缩分析（CompressiveAnalysis, CA）、连续交错采样（Continuous Interleaved Sampling，CIS）。在步骤310中，经过自动增益控制以限制其响度，自动增益控制主要根据听力障碍患者的听力测试图谱，获取听力患者在不同频率范围内声音感知能力，再根据患者的听力测试结果，调整各个频率对应电极的刺激信号。该步骤是可选项，只针对还保存有剩余听力能力的患者。然后，在步骤320中，将电极刺激信号传送至对应的电极。在生成电极信号时，尽管还有一些其他的方法也声称使用了选择性频带，如高级组合编码器（Advanced Combinatorial Encoders，ACE），动态峰值拾取（Dynamic Peak Picking），频谱峰值（Spectral Peak，SPEAK），电流导引（Current Steering）等，但是应当指出的是，其产生的效果并不明显，原因在于这些方法的实现是基于傅里叶滤波器组的，总会受到虚拟谐波的影响。当发送到有限数量的电极时，任何电信号都必须代表声音的真实神经信号，但是谐波信号并不是真实的声音信号。在助听器中，谐波的消除和组合会导致基波放大，从而导致烦人的声音变大但是声音并不清晰。在人工耳蜗中，谐波被校正了，他们失去了消除和组合的能力，这将导致不必要的噪声。因此，如果声音充满了谐波（如乐器中的声音），问题将变得更加糟糕，这些谐波将全部交织在一起，变得无法分离，从而使得音乐欣赏变得不可能。
相比与基于傅里叶原理的人工耳蜗语音处理方法，本发明的优点在于：（1）本发明中的频率是瞬时频率，因此其不受不确定性原理的限制；而傅里叶变换是积分变换，任何基于积分变换的方法都无法获得瞬时频率；（2）本发明的人工耳蜗语音处理方法中，因为其基于HHT，将不会产生谐波，每一个电信号都代表声音的真实神经信号；而基于傅里叶原理的人工耳蜗，其信号中存在一些谐波，这些因为不会被消除，而产生了很多不必要的噪声；（3）在本发明中，可以采用更多数量的电极来改善频率的差异，从而改善最终的声音质量；但是基于傅里叶原理的人工耳蜗，因为其存在谐波，即使增加电极数量，也无法将谐波消除，即无法通过增加电极数量改善最终的声音质量；（4）在本发明中，可以根据患者的听力测试情况，选择性调节声音放大的组分，以保留部分听力障碍患者的自然耳蜗功能。
图2为中文语句“曾先生早”的语音信号数据。
图3是图2中的声音信号经过傅里叶带通滤波器组滤波后的声音分量图。图3是目前典型的人工耳蜗中采用的七个带通滤波频带，将给出8个组分的傅里叶带通滤波结果。这些声音分量的包络将是人工耳蜗电极的输入。图4是图2中中文语句“曾先生早”的傅里叶时间频率谱细节放大图，从图4生动地展示了谐波的规律性。这些谐波是非线性信号完整性表示所必需的，但是它们并不是真正的自然的声音。当其进行叠加时，将会产生非线性的失真的波形。但是，对于使用声音信号分量包络的人工耳蜗而言，谐波将不会再叠加，而是会在相应的频率处产生有害的噪声。
图5是图2中的声音信号经过经验模态分解的滤波器组产生的8个频段。图5看起来与图3中的带通滤波器组滤波后的结果相似，但是，正如上述讨论的那样，带通滤波器组滤波后的结果本身并不能很好地表示声音。图6是图2中中文语句“曾先生早”的希尔伯特时间频率谱，覆盖的频率范围为0-10000Hz。其中，沿300Hz的能量集中表示声带的振动，在400-1000Hz之间的主要能量集中表示咬合架的共振，2000-5000Hz之间的高频能量表示声道的反射，这些频率范围取决于人的身形大小，因人而异。这些频率增加了声音的强度。从图6中可以看到，只有极少的能量超过1000Hz，更重要的是，这些高频能量中，并没有谐波，并且时间和频率值不受不确定性原理的限制。
图7是采用集合经验模态分解（EEMD）获得的本征模态函数分量，其噪声水平较低（1%），并且集合中只有2个组成。对比图7与图5中的本征模态函数分量，可以看出两者之间存在很大的不同。集合经验模态分解（EEMD）是针对经验模态分解（EMD）方法的不足，提出的一种噪声辅助数据分析方法，EEMD将有效地解决了EMD中的混频现象。
图8是采用集合经验模态分解（EEMD）获得本征模态函数分量，其噪声水平较高（10%），并且在集合中有16种组成。对比图8与图7及图5中的本征模态函数分量，可以看出图8中的本征模态函数分量与图5或图7的本征模态函数分量有很大的不同。
图9是图5中给出的本征模态函数分量的20电极频段模拟的时间频率图。其中的20电极所对应的频率分别为：80, 100, 128, 160, 200, 256, 320, 400, 512, 640, 800,1024, 1280, 1600, 2048,2560,3200, 4096, 5120, 6400, 8192。将图9与图6中的希尔伯特时间频率图进行比对，尽管图9缺少图6所示的细节，但是在质量上与图6中的全分辨率频谱相似，并且可以包含语音的许多精细时间特征。
图10是图7中给出的本征模态函数分量的20电极频段模拟的时间频率图。其电极对应的频率与图9中相同，尽管图10缺少图6所示的细节，但是在质量上与图9中给出的频谱相似。
图11是图8中给出的本征模态函数分量的20电极频段模拟的时间频率图。其电极对应的频率与图9中相同，尽管图11缺少图6所示的细节，但是在质量上与图9中给出的频谱相似。
图5，图7和图8分别对图2中的声音信号采用不同的模态分解方法进行分解，得到不同方法分解后对应的本征模态函数分量。从图中可以看出，不同的方法分解得到的本征模态函数分量存在很大的不同，对应的本征模态函数分量的包络之间也存在很大的不同；但是将其转换成瞬时频率与瞬时幅度之后，其时间频率图却是相似的，而人工耳蜗的电极刺激信号与频率和能量相关，因此，不同的分解方法将产生基本相同的电极刺激信号。
实施例二：
更进一步地，为了节省时间，可以使用任何与EMD类似或者等同的方法来替代EMD，例如根据需要重复应用连续运行的不同窗口大小的均值或者中值方法，作为对输入信号进行滤波的高通滤波或者其他时域滤波。例如，在运行的平均值方法中，无法保证所得信号是真正的IMF，这是产生精确且有意义的瞬时频率的要求。但是由于我们没有使用频谱分析，因此近似值是可以接受的。以连续运行的均值为例，步骤应如下所示。首先通过连续运行均值分解数据：
其中，< F> nj 表示窗口大小为nj的运行均值（或者运行中值，必要时重复使用）。使用矩形滤波器的优点在于滤波器是自适应的，并且矩形滤波器的响应函数是众所周知的。此外，矩形滤波器的重复使用实际上改变了已知的滤波器的响应函数。重复两次将产生三角滤波器，重复四次以上将产生接近高斯形状的响应。使用此滤波器的关键参数是窗口的大小。根据公式（3），我们得出以下结论，如果采样率为22050Hz，则矩形滤波器与EMD之间具有以下等价关系：
无需再继续往下滤波，因为无论如何我们都听不到频率低于下一个滤波器步骤的声音。使用滤波器的缺点是没有任何一个滤波器比上述EMD更为清晰。
选择性放大或者缩小可以像公式（3）一样实现，并得到重构信号y(t)为：
其中，a j 的值可以根据患者的听力图测试确定。
由于EMD更加耗时，但是即便如此，其计算复杂度仍可与傅里叶变换相当。如果我们使用滤波器方法，声音可能不会特别清晰，因为均值滤波器确实将滤波后的结果传播在更宽的时域上。最终结果将不如完整的EMD方法那么简单，但是，滤波器方法可以更简单且廉价地实现。
请参照图12所示，图12为本发明实施例的一种人工耳蜗语音处理系统。该语音处理系统包括声音接收模块10、声音处理模块20和信号传输模块30。其中，声音接收模块10用于接收声音信号，并将声音信号转换为数字信号。声音处理模块20用于对接收到的声音数字信号进行降噪，并将声音信号进行分解，将分解后的信号分量转换成瞬时频率和瞬时幅度，将瞬时频率与电极的频段相对应，并挑选出能量最高的几个频段，生成这些频段对应电极的刺激信号。声音处理模块的关键部分所涉及的原理和详细步骤与人工耳蜗语音处理方法中列出的原理和详细步骤相同。声音处理模块20在接收到数字声音信号之后，降噪单元对声音信号进行噪声抑制，并消除鸡尾酒会问题。接着通过声音处理单元，其将通过自适应滤波器库对声音信号进行处理，得到多个本征模态函数分量或者多个类本征模态函数分量。其中，自适应滤波器库包括模态分解滤波器组，均值滤波器组，模态分解滤波器组采用本发明中利用任意一种可以取得本征模态函数分量的方法，例如经验模态分解法（Empirical Mode Decomposition, EMD），集合经模态分解法（Ensemble Empirical ModeDecomposition, EEMD）,或者自适应性二进位遮罩经验模态分解法（Conjugate AdaptiveDyadic Masking Empirical Mode Decomposition, CADM-EMD），除了使用以上各种经验模态分解方法以及基于其改进的信号分解方法，还可以使用自适应滤波器组，如均值滤波器组，获得类本征模态函数分量。将通过自适应滤波器库得到的本征模态函数分量或类本征模态函数分量转化为瞬时频率和瞬时幅度。将获得的瞬时频率与预先设定频率值的电极频段相对应，从对应的电极频段中挑选出最多6个能量最高的分量，且这些频段中的能量大于预先设定的阈值。接着，根据所选择的分量生成对应的电极刺激信号，并通过自动增益控制对各个信号分量的响度进行控制。在进行信号自动增益控制时，可以根据患者的听力图谱状况，进行各个频率分量放大倍数的控制，可以保留患者的自然耳蜗功能。信号传输模块30将声音处理单元生成的电极刺激信号传输给人工耳蜗植入体中的电极，使电极能实时正确地产生声音所对应的刺激信号。
以上所述仅是本发明的优选实施例而已，并非对本发明做任何形式上的限制，虽然本发明已以优选实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案的范围内，当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本实用发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。
Claims (11)
1.一种人工耳蜗语音处理方法，其特征在于，包括以下步骤：
取得声音信号，将所述声音信号转化为数字信号；
将所述数字信号采用模态分解方法进行分解，取得多个本征模态函数分量，将该多个本征模态函数转换为瞬时频率和瞬时幅度；
将所述瞬时频率进行分类，使其与人工耳蜗中预设的电极频段相对应；
从对应的电极频段中挑选N个能量最高的电极频段分量，根据所选择的电极频段分量生成对应的电极刺激信号。
2.根据权利要求1中的人工耳蜗语音处理方法，其特征在于，还包括：所述模态分解方法包括经验模态分解法，集合经验模态分解法，或者自适应性二进位遮罩经验模态分解法。
3.根据权利要求1中的人工耳蜗语音处理方法，其特征在于，还包括，在对所述数字信号采用模态分解方法进行分解之前，采用以下方法之一抑制噪声：自适应滤波器方法或者人工智能方法。
4.根据权利要求1中的人工耳蜗语音处理方法，其特征在于，还包括：在对所述数字信号采用模态分解方法进行分解之前，采用以下方法之一消除鸡尾酒会问题：计算机听觉场景分析、非负矩阵分解、生成式模型建模、波束成形、多通道盲源分离、深度聚类、深度吸引网络、排列不变性训练。
5.根据权利要求1中的人工耳蜗语音处理方法，其特征在于，还包括：从对应的电极频段中挑选N个能量最高的电极频段分量，其中N≤6，且这些电极频段分量的能量值高于预设阈值。
6.根据权利要求1中的人工耳蜗语音处理方法，其特征在于，还包括：自动增益控制，其根据患者的听力测试图谱调整每个电极刺激信号。
7.根据权利要求1中的人工耳蜗语音处理方法，其特征在于，还包括：采用以下方法之一生成所述挑选的本征模态函数分量对应的电极的刺激信号：同步模拟信号、压缩分析、连续交错采样。
8.根据权利要求1中的人工耳蜗语音处理方法，其特征在于，还包括：所述人工耳蜗中预设的电极频段与人工耳蜗中的电极一一对应，所述电极的数量大于等于20。
9.一种人工耳蜗语音处理方法，其特征在于，包括以下步骤：
取得声音信号，将所述声音信号转化为数字信号；
将所述数字信号采用自适应滤波器组方法进行分解，取得多个类本征模态函数，将该多个类本征模态函数转换为瞬时频率和瞬时幅度；
将所述瞬时频率进行分类，使其与人工耳蜗中预设的电极频段相对应；
从对应的电极频段中挑选N个能量最高的电极频段分量，根据所选择的分量生成对应的电极刺激信号。
10.根据权利要求9中的人工耳蜗语音处理方法，其特征在于，其中，所述自适应滤波器组为均值滤波器组或中值滤波器组。
11.一种使用权利要求1-10任一所述的人工耳蜗语音处理方法的人工耳蜗语音处理系统，其特征在于，所述人工耳蜗语音处理系统包括声音接收模块、声音处理模块和信号传输模块，其中：
声音接收模块用于接收声音信号，并将声音信号转换为数字信号；
声音处理模块用于对数字信号进行处理，得到多个本征模态函数或者多个类本征模态函数，将该多个本征模态函数或类本征模态函数转换为瞬时频率和瞬时幅度；将所述瞬时频率进行分类，使其与人工耳蜗中预设的电极频段相对应；从对应的电极频段中挑选N个能量最高的电极频段分量，根据所选择的电极频段分量生成对应的电极刺激信号；
信号传输模块用于将声音处理单元生成的电极刺激信号传输给人工耳蜗植入体中的电极，使电极产生声音所对应的刺激信号。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010913039.8A CN111768802B (zh) | 2020-09-03 | 2020-09-03 | 一种人工耳蜗语音处理方法及系统 |
| PCT/CN2020/131213 WO2022048041A1 (zh) | 2020-09-03 | 2020-11-24 | 一种人工耳蜗语音处理方法及系统 |
| US17/357,982 US20220068289A1 (en) | 2020-09-03 | 2021-06-25 | Speech Processing Method and System in A Cochlear Implant |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010913039.8A CN111768802B (zh) | 2020-09-03 | 2020-09-03 | 一种人工耳蜗语音处理方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111768802A CN111768802A (zh) | 2020-10-13 |
| CN111768802B true CN111768802B (zh) | 2020-12-08 |
Family
ID=72729206
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010913039.8A Active CN111768802B (zh) | 2020-09-03 | 2020-09-03 | 一种人工耳蜗语音处理方法及系统 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20220068289A1 (zh) |
| CN (1) | CN111768802B (zh) |
| WO (1) | WO2022048041A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111768802B (zh) * | 2020-09-03 | 2020-12-08 | 江苏爱谛科技研究院有限公司 | 一种人工耳蜗语音处理方法及系统 |
| CN112686295B (zh) * | 2020-12-28 | 2021-08-24 | 南京工程学院 | 一种个性化听力损失建模方法 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6687547B2 (en) * | 1999-09-14 | 2004-02-03 | Medtronic, Inc. | Method and apparatus for communicating with an implantable medical device with DTMF tones |
| EP1421720A4 (en) * | 2001-08-27 | 2005-11-16 | Univ California | COCHLEAR IMPLANTS AND APPARATUSES / METHODS FOR IMPROVING AUDIO SIGNALS BY IMPLEMENTING FREQUENCY MODULATION AND AMPLITUDE (FAME) CODING STRATEGIES |
| CN101645267B (zh) * | 2009-04-03 | 2012-02-01 | 中国科学院声学研究所 | 一种应用于电子耳蜗的语音处理方法 |
| US10264990B2 (en) * | 2012-10-26 | 2019-04-23 | The Regents Of The University Of California | Methods of decoding speech from brain activity data and devices for practicing the same |
| CN103340718B (zh) * | 2013-06-18 | 2015-08-05 | 浙江诺尔康神经电子科技股份有限公司 | 通道自适应动态峰值人工耳蜗信号处理方法和系统 |
| CN103393484A (zh) * | 2013-07-31 | 2013-11-20 | 刘洪运 | 用于电子耳蜗的语音处理方法 |
| DE102015109986B4 (de) * | 2015-06-22 | 2017-04-27 | Forschungszentrum Jülich GmbH | Vorrichtung zur effektiven nicht-invasiven Zwei-Stufen-Neurostimulation |
| CN106610918A (zh) * | 2015-10-22 | 2017-05-03 | 中央大学 | 自适应性二进、共轭屏蔽网格之经验模态分解方法及其系统 |
| CN105999546B (zh) * | 2016-06-24 | 2018-08-14 | 沈阳弘鼎康医疗器械有限公司 | 一种人工耳蜗 |
| CN111050262B (zh) * | 2020-01-10 | 2021-04-13 | 杭州耳青聪科技有限公司 | 一种智能语音增强的实时电子耳蜗调试系统 |
| CN111768802B (zh) * | 2020-09-03 | 2020-12-08 | 江苏爱谛科技研究院有限公司 | 一种人工耳蜗语音处理方法及系统 |
-
2020
- 2020-09-03 CN CN202010913039.8A patent/CN111768802B/zh active Active
- 2020-11-24 WO PCT/CN2020/131213 patent/WO2022048041A1/zh active Application Filing
-
2021
- 2021-06-25 US US17/357,982 patent/US20220068289A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022048041A1 (zh) | 2022-03-10 |
| CN111768802A (zh) | 2020-10-13 |
| US20220068289A1 (en) | 2022-03-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2571567B1 (en) | Envelope specific stimulus timing | |
| US8929994B2 (en) | Reduction of transient sounds in hearing implants | |
| AU2014309169B2 (en) | Auditory prosthesis stimulation rate as a multiple of intrinsic oscillation | |
| Yao et al. | The application of bionic wavelet transform to speech signal processing in cochlear implants using neural network simulations | |
| CN111768802B (zh) | 一种人工耳蜗语音处理方法及系统 | |
| Harczos et al. | Making use of auditory models for better mimicking of normal hearing processes with cochlear implants: the SAM coding strategy | |
| US9717901B2 (en) | Methods of frequency-modulated phase coding (FMPC) for cochlear implants and cochlear implants applying same | |
| CN107708794B (zh) | 具有耳蜗植入物的选择性刺激 | |
| AU2016317088B2 (en) | Rate and place of stimulation matched to instantaneous frequency | |
| CN110831658B (zh) | 具有带宽归一化的内侧橄榄耳蜗反射声编码 | |
| Chen et al. | A novel temporal fine structure-based speech synthesis model for cochlear implant | |
| Rubinstein et al. | A novel acoustic simulation of cochlear implant hearing: effects of temporal fine structure | |
| CN107614058B (zh) | 患者特定的频率调制适应 | |
| Goldsworthy | Computational modeling of synchrony in the auditory nerve in response to acoustic and electric stimulation | |
| Firszt | HiResolution sound processing | |
| Barda et al. | CODING AND ANALYSIS OF SPEECH IN COCHLEAR IMPLANT: A REVIEW. | |
| Derouiche et al. | IMPLEMENTATION OF THE DEVELOPMENT OF AFiltering ALGORITHM TO IMPROVE THE SYSTEM OF HEARING IN HEARING IMPAIRED WITH COCHLEAR IMPLANT | |
| Sun et al. | A Hybrid Coding Strategy to Improve Auditory Perception of Cochlear Implant | |
| Wang et al. | A novel speech processing algorithm based on harmonicity cues in cochlear implant | |
| Khaleelur Rahiman et al. | Design of Low Power Speech Processor-Based Cochlear Implants Using Modified FIR Filter with Variable Frequency Mapping | |
| Zhang et al. | Improved Mandarin Chinese Perception for Cochlear Implants Using an Auditory Model based on Stochastic Stimulation. | |
| Arifianto et al. | Enhanced harmonics for music appreciation on cochlear implant | |
| Shuli et al. | An improvement of speech synthesis in acoustic simulation model of cochlear implants with CIS strategy | |
| Loizou et al. | SIGNAL PROCESSING STRATEGIES FOR BETTER MELODY RECOGNITION AND IMPROVED SPEECH UNDERSTANDING IN NOISE FOR COCHLEAR IMPLANTS | |
| Johnson et al. | A novel VOCODER for cochlear implants |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230506 Address after: No. 2 Lijing Road, Jiangbei New District, Nanjing City, Jiangsu Province, 210000 Patentee after: Nanjing Biomedical Valley Construction Development Co.,Ltd. Address before: 210032 4th floor, building 04, life science and technology Island, 11 Yaogu Avenue, Jiangbei new district, Nanjing City, Jiangsu Province Patentee before: Jiangsu Aidi science and Technology Research Institute Co.,Ltd. |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A speech processing method and system for cochlear implants Effective date of registration: 20231220 Granted publication date: 20201208 Pledgee: Bank of Hangzhou Limited by Share Ltd. Nanjing branch Pledgor: Nanjing Biomedical Valley Construction Development Co.,Ltd. Registration number: Y2023980072756 |