CN113632503B - 用于频率特异性定位及语音理解增强的系统和方法 - Google Patents
用于频率特异性定位及语音理解增强的系统和方法 Download PDFInfo
- Publication number
- CN113632503B CN113632503B CN201980094082.1A CN201980094082A CN113632503B CN 113632503 B CN113632503 B CN 113632503B CN 201980094082 A CN201980094082 A CN 201980094082A CN 113632503 B CN113632503 B CN 113632503B
- Authority
- CN
- China
- Prior art keywords
- frequency
- frequency signal
- enhancement
- signal
- hearing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 50
- 230000004807 localization Effects 0.000 title abstract description 60
- 230000013707 sensory perception of sound Effects 0.000 claims abstract description 252
- 230000005236 sound signal Effects 0.000 claims abstract description 122
- 238000012545 processing Methods 0.000 claims abstract description 71
- 230000008447 perception Effects 0.000 claims abstract description 15
- 230000004936 stimulating effect Effects 0.000 claims abstract description 10
- 239000007943 implant Substances 0.000 claims description 77
- 230000000638 stimulation Effects 0.000 claims description 49
- 230000009977 dual effect Effects 0.000 claims description 18
- 230000008878 coupling Effects 0.000 claims description 11
- 238000010168 coupling process Methods 0.000 claims description 11
- 238000005859 coupling reaction Methods 0.000 claims description 11
- 210000005069 ears Anatomy 0.000 claims description 11
- 230000001953 sensory effect Effects 0.000 claims description 4
- 230000006854 communication Effects 0.000 description 18
- 238000004891 communication Methods 0.000 description 18
- 210000003128 head Anatomy 0.000 description 17
- 230000008569 process Effects 0.000 description 17
- 210000003477 cochlea Anatomy 0.000 description 15
- 230000008901 benefit Effects 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 230000003447 ipsilateral effect Effects 0.000 description 9
- 210000001519 tissue Anatomy 0.000 description 9
- 230000008859 change Effects 0.000 description 7
- 210000000860 cochlear nerve Anatomy 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000002156 mixing Methods 0.000 description 5
- 210000003984 auditory pathway Anatomy 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 4
- 206010011878 Deafness Diseases 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 230000001010 compromised effect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 210000000613 ear canal Anatomy 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000010370 hearing loss Effects 0.000 description 2
- 231100000888 hearing loss Toxicity 0.000 description 2
- 208000016354 hearing loss disease Diseases 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- 206010003645 Atopy Diseases 0.000 description 1
- 208000032041 Hearing impaired Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000003556 assay Methods 0.000 description 1
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 230000002902 bimodal effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000133 brain stem Anatomy 0.000 description 1
- 210000003952 cochlear nucleus Anatomy 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000003552 inferior colliculi Anatomy 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 235000001968 nicotinic acid Nutrition 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000000527 sonication Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 239000003826 tablet Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
- H04R25/505—Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/40—Arrangements for obtaining a desired directivity characteristic
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N1/00—Electrotherapy; Circuits therefor
- A61N1/18—Applying electric currents by contact electrodes
- A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
- A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
- A61N1/36036—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation of the outer, middle or inner ear
- A61N1/36038—Cochlear stimulation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/40—Arrangements for obtaining a desired directivity characteristic
- H04R25/407—Circuits for combining signals of a plurality of transducers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N1/00—Electrotherapy; Circuits therefor
- A61N1/02—Details
- A61N1/04—Electrodes
- A61N1/05—Electrodes for implantation or insertion into the body, e.g. heart electrode
- A61N1/0526—Head electrodes
- A61N1/0541—Cochlear electrodes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
- H04R2225/43—Signal processing in hearing aids to enhance the speech intelligibility
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
- H04R2225/53—Hearing aid for unilateral hearing impairment using Contralateral Routing Of Signals [CROS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
- H04R2225/67—Implantable hearing aids or parts thereof not covered by H04R25/606
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
- H04R25/552—Binaural
Landscapes
- Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Neurosurgery (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Computer Networks & Wireless Communication (AREA)
- Prostheses (AREA)
Abstract
示例性空间增强系统实施频率特异性定位及语音理解增强。具体地,系统接收呈现给听力装置的受体的音频信号,并基于音频信号生成第一频率信号和第二频率信号。第一频率信号包括音频信号的与第一频率范围关联的部分,且第二频率信号包括音频信号的与第二频率范围关联的部分。基于第一和第二频率信号,系统生成输出频率信号,输出频率信号与第一和第二频率范围相关联并配置成用于在刺激受体的听觉感知中由听力装置使用。该生成输出频率信号包括处理第一频率信号以施加定位增强,以及处理第二频率信号以施加语音理解增强。
Description
相关申请
本申请要求于2019年3月15日提交的美国临时专利申请号62/819,334的优先权。所述临时专利申请的全部内容由此以引用的方式并入。
背景信息
已开发出各种类型的单耳和双耳听力系统来实现和/或增强听力受损的听众(即听力系统的受体(recipient))对于听到或另外感知到呈现给他们的声音的能力。例如,助听系统可操作成放大对于受体而言感知困难的声音(或该声音的某些频率分量),耳蜗植入系统可操作为以这样的方式直接刺激耳蜗组织,即模拟如果不是由于耳蜗损伤或不规则声音原本将刺激耳蜗的方式,并且混合刺激系统可配置为提供电刺激和声学刺激两者,由此充当与助听器和耳蜗植入物两者共用共同特征的混合系统。
某些听力任务的实施对于任何类型的听力系统的受体来说都会是挑战性的。作为一个示例,理解语音(例如,和受体交谈的人的语音)会是困难的,尤其是在其它声音与由说话者提供的语音内容竞争的嘈杂环境中。作为另一示例,定位正感知到的声音(即分辨不同的声音各源自哪个方向)会是困难的。不幸的是,这类重要的听力任务往往趋向于相互竞争,因为增强语音理解的信号处理的做法通常以损失受体的定位能力为代价,且反之亦然。
附图说明
附图图示出不同的实施例,并且附图是说明书的一部分。所图示的实施例仅只是示例,而并不限制本公开的范围。贯穿附图,相同或相似的附图标号标示相同或相似的元件/元素。
图1图示根据本文中描述的原理的、用于频率特异性定位及语音理解增强的示例性空间增强系统。
图2A-2C图示根据本文中描述的原理的、被配置来实现频率特异性定位及语音理解增强的各种不同类型的示例性听力装置的示例性部件。
图3图示人类耳蜗的示意性结构。
图4图示实现根据本文中描述的原理的频率特异性定位及语音理解增强的听力装置的示例性声处理器中所包括的示例性部件。
图5A-5B图示示例性的原理,图1的空间增强系统可借由所述原理来实现根据本文中描述的原理的语音理解增强。
图6图示示例性的原理,图1的空间增强系统可借由所述原理来实现根据本文中描述的原理的定位增强。
图7图示根据本文中描述的原理的示例性双耳听力系统,所述双耳听力系统包括用于受体各耳的相应的、实现图1的空间增强系统的听力装置。
图8图示根据本文中描述的原理的示例性的相对于受体姿势的空间位置,音频信号可源自这些空间位置。
图9图示根据本文中描述的原理的示例性频率特异性增强方案(plan)。
图10图示根据本文中描述的原理的示例性控制界面,受体借由这样的控制界面来提供代表受体感知到的可闻度(audibility)或响度或者受体定位声音和/或理解语音的能力的感知数据。
图11图示根据本文中描述的原理的、用于频率特异性定位及语音理解增强的双式听力系统(bimodal hearing system)的示例性实施方式的框图。
图12图示根据本文中描述的原理的、用于频率特异性定位及语音理解增强的示例性方法。
具体实施方式
本文中描述了用于频率特异性定位及语音理解增强的系统和方法。如上所述,对于各种类型的听力系统(例如,耳蜗植入系统、助听器、与耳蜗植入系统和助听器两者共用特征的混合刺激系统、耳机等)的受体来说,实施某些听力任务是重要但会有挑战的。例如,实施涉及分辨声音源自的相应位置的定位任务和/或实施辨别并理解讲给受体的话语的语音理解任务,会是有挑战的。
为促进这些任务,已开发出各种增强,并且这些增强已在某些听力装置上被实现。例如,一些听力装置已实现定位增强,这些定位增强例如是耳间波束形成(“lABF”)操作、增益耦合操作和/或用于保留和/或增强耳间(声)级差(“ILD”)暗示和/或耳间时间差(“ITD”)暗示的其它适合的操作,这些操作中的每种都可由受体使用来更高效地定位声音。各种此类的定位增强将在以下更详细地描述,并在例如2018年8月31日提交的题为BINAURALHEARING SYSTEMS AND METHODS FOR PRESERVING AN INTERAURAL LEVEL DIFFERENCEBETWEEN SIGNALS GENERATED FOR EACH EAR OF A USER的共同待决的美国专利申请号16/120,203中进一步描述,并且该美国专利申请的全部内容以引用的方式并入本文中。此外,如将在以下进一步更加详细描述的,包含定向麦克风(directional microphone)、动态方向切换技术(dynamic directionality switching technique)、信号对侧路由(contralateral routing of signals)(“CROS”)技术等的使用的语音理解增强已被开发并在某些听力装置中被用作语音理解增强。
不幸的是,在这些及其它的定位及语音理解增强的先前的实施方式中,受体的定位能力的增强的取得以损失受体的语音理解为代价,且反之亦然。因此,本文中描述的用于频率特异性定位及语音理解增强的系统和方法操作成通过将相应的增强施加到相异和/或全异的频率范围来使受体的定位能力和语音理解两者同时增强。例如,如以下将更详细描述的,定位增强可仅施加到音频信号的在一个或多个特定频率范围(例如,低于交叉频率(crossover frequency)的频率范围)内的分量,而语音理解增强功能可仅施加到音频信号的在一个或多个不同频率范围(例如,大于交叉频率的频率范围)内的分量。
一种用于频率特异性定位及语音理解增强的示例性空间增强系统可包括存储器和处理器,所述存储器存储指令,并且所述处理器与存储器通信耦接并配置为执行指令来实施某些操作。例如,空间增强系统可接收呈现给听力装置的受体的音频信号,并可基于接收的音频信号生成第一频率信号和第二频率信号。第一频率信号可包括音频信号的与第一频率范围关联的部分,并且第二频率信号可包括音频信号的与第二频率范围关联的部分。由于第二频率范围与第一频率范围会是相异的,因此这些部分会是不同的(例如,不重叠或仅部分重叠)且在一些示例中会是互斥的。例如,音频信号的与第一频率范围关联的部分可包括音频信号的比特定交叉频率低的频率分量(例如,低于900Hz、低于1kHz等),而音频信号的与第二频率范围关联的部分可包括音频信号的比所述交叉频率大的频率分量(例如,大于900Hz、大于1kHz等)。
基于第一和第二频率信号,空间增强系统可生成输出频率信号。例如,输出频率信号可与第一和第二频率范围关联(例如,由此在以上的示例中包括低于交叉频率及大于交叉频率的所有频率)。输出频率信号可由听力装置配置成用于在刺激受体的听觉感知中(例如,在另外处理之后)使用。在一些示例中,生成输出频率信号可包括1)处理第一频率信号来施加定位增强和2)处理第二频率信号来施加语音理解增强(例如,不同于定位增强的语音理解增强)。
为提供根据本文中描述的原理的空间增强系统的更具体的示例,现在将描述示例性的双式听力系统。双式听力系统可包括与双式听力系统的受体的第一耳关联的耳蜗植入装置,并且双式听力系统可另外包括与受体的第二耳关联的助听装置,第二耳与第一耳对生(opposite)。
耳蜗植入装置可配置为1)在第一耳处接收呈现给受体的音频信号;2)基于在第一耳处接收的音频信号,生成第一低频信号和第一高频信号(例如,第一低频信号包括音频信号的与低频率范围关联的部分,所述低频率范围包括低于交叉频率的可闻频率,并且第一高频信号包括音频信号的与高频率范围关联的部分,所述高频率范围包括大于交叉频率的可闻频率);以及3)基于第一低频信号和第一高频信号,生成第一输出频率信号,所述第一输出频率信号与所述低频率范围和高频率范围关联并配置成用于在刺激受体的第一耳的听觉感知中由耳蜗植入装置使用。与以上描述的空间增强系统相似,通过耳蜗植入装置生成第一输出频率信号可包括:处理第一低频信号来施加定位增强,以及处理第一高频信号来施加语音理解增强(例如,不同于定位增强的语音理解增强)。
以类似的方式,该示例性双式听力系统中的助听装置可配置为:1)在第二耳处接收呈现给受体的音频信号;2)基于在第二耳处接收的音频信号,生成第二低频信号和第二高频信号(例如,第二低频信号包括音频信号的与低频率范围关联的部分,并且第二高频信号包括音频信号的与高频率范围关联的部分);以及3)基于第二低频信号和第二高频信号,生成第二输出频率信号,所述第二输出频率信号与所述低频率范围和高频率范围关联并配置成用于在刺激受体的第二耳的听觉感知中由助听装置使用。与耳蜗植入装置相似,通过助听装置生成第二输出频率信号可包括:处理第二低频信号来施加定位增强,以及处理第二高频信号来施加语音理解增强。将理解的是,上述操作可以以任何适合的顺序实施和/或可以并发或彼此并行地实施,如可服务特定实施方式的。
本文中描述的用于频率特异性定位及语音理解增强的系统和方法可提供各种益处和优点。例如,与使受体实施一类听力任务(例如,定位或语音理解)的能力增强而未使受体实施其它类听力任务的能力也增强(或者,在许多情况下,甚至削弱受体实施其它类听力任务的能力)的先前的定位及语音理解增强解决方案不同,本文中描述的系统和方法使定位和语音理解两者同时增强。因此,采用本文中描述的系统和方法的听力装置的受体会能够更加容易、有效且高效地达成定位听力任务和语音理解听力任务两者,而不是不得不只增强一者或者以损失一者为代价来增强另一者。
如以下将更详细描述的,本文中描述的系统和方法对于双式听力系统(即,针对各耳包括不同类型听力装置的听力系统)的受体以及在一侧上在某些频率范围内缺乏明显听力能力的受体,会是特别有益的。例如,如果双式听力系统的受体的某一耳(例如,与助听装置关联的那耳)感知高于特定频率的声音的能力有限或缺失而另一耳(例如,与耳蜗植入装置关联的那耳)具有这种能力,则语音理解增强(比如,CROS技术)可被施加来将高频率音频信号(例如,语音信号)路由到可以感知这些高频率音频信号的那耳(由此允许受体感知源自他或她的“弱”耳的语音)、同时仍然保留受体的定位能力,以便受体能够分辨所述语音信号源自“弱”耳的方向而不是“强”耳的方向,所述“强”耳主要进行感知和理解语音的工作。将在以下更详细地描述说明该益处的详细示例。
现在将参考附图来更详细地描述不同的实施例。所公开的系统和方法可提供以上提及的一项或多项益处和/或在本文中将变得显见的各种另外的和/或替代的益处。
图1图示出用于频率特异性定位及语音理解增强的示例性空间增强系统100(“系统100”)。系统100可包括在听力系统的一个或多个部件中、由听力系统的一个或多个部件实现或连接到听力系统的一个或多个部件,所述听力系统包括一个或多个听力装置(比如以下将更详细描述的)。例如,系统100可由诸如耳蜗植入装置、助听装置、混合刺激装置等的听力装置的声处理器或其它部件实现。作为另一个示例,系统100也可以由与听力系统通信耦接的独立计算系统(例如,移动装置等)实现。
如图1中所示,系统100可包括但不限于选择性且通信地耦接到彼此的存储设施102和处理设施104。设施102和104可各自包括一个或多个物理计算装置或由一个或多个物理计算装置实现,所述物理计算装置包括硬件部件和/或软件部件,比如处理器、存储器、存储驱动、通信接口、存储在存储器中用于通过处理器执行的指令等。尽管设施102和104在图1中被示出为分开的设施,然而设施102和104也可组合成更少的设施(比如,组合成单个设施)或可分成更多的设施,如可服务特定实施方式的。在一些示例中,设施102和104中的每个也可分布在多个装置之间,如可服务特定实施方式的。
存储设施102可维护(例如,存储)供处理设施104实施本文中描述的任何功能使用的可执行数据。例如,存储设施102可存储指令106,处理设施104可执行所述指令以实施本文中描述的一项或多项操作。指令106可通过任何适合的应用程序、软件、代码和/或其它可执行数据实例来实现。存储设施102还可维护由处理设施104接收、生成、管理、使用和/或传输的任何数据。
处理设施104可配置为实施(例如,执行存储在存储设施102中的指令106以实施)与实施频率特异性定位及语音理解增强相关的各种操作。例如,处理设施104可配置为:接收呈现给听力装置(例如,实现系统100的听力装置、包括在系统100内的听力装置或与系统100通信耦接的听力装置)的受体的音频信号;并基于所述音频信号,生成第一频率信号和第二频率信号。第一频率信号可包括音频信号的与第一频率范围关联的部分(例如,一个或多个频率分量),并且第二频率信号可包括音频信号的与第二频率范围关联的部分,第二频率范围与第一频率范围相异。例如,如以下将针对某些特定示例来描述的,处理设施104可包括这样的硬件和/或软件,即所述硬件和/或软件配置为使音频信号从时域变换到频域(例如,借由快速傅立叶变换(“FFT”)技术等),并且第一频率信号可包括该变换的频域输出的某些频率分量,同时第二频率信号包括该频域输出的不同频率分量(例如,由该变换输出的分量中的余者、在与第一频率信号中包括的这些分量不同的频率范围中的分量等)。
基于第一和第二频率信号,处理设施104可生成输出频率信号。在一些示例中,输出频率信号可与第一和第二频率范围两者关联(例如,重组信号以再次覆盖原始音频信号的整个频率范围)。此外,输出频率信号可配置成用于在刺激受体的听觉感知中由听力装置使用。例如,在另外的处理(例如,与其它信号混合、从频域变换回到时域、校准、平衡、映射、放大、传输和/或其它适合的数据处理)之后,输出频率信号可由听力装置使用来引导声学刺激和/或电刺激根据所使用的听力装置的类型以适宜的方式施加到受体。
在某些示例中,处理设施104可通过实施操作来生成输出频率信号,所述操作配置成以本文中描述的方式实现频率特异性定位及语音理解增强。例如,处理设施104可处理第一频率信号来施加定位增强,并且处理设施可处理第二频率信号来施加语音理解增强。定位增强可不同于语音理解增强。例如,如以下将更详细描述的,定位增强可包括IABF增强或其它ILD放大技术,而语音理解增强可包括CROS增强、定向麦克风跟踪增强等。
系统100的某些实施方式可专门配置为实时实施频率特异性定位及语音理解增强(例如,随着音频信号正在实时地产生和接收)。相应地,待由处理设施104实施的上述操作中的任何(操作)可立即且无不适当延迟地被实施,使得听觉刺激(例如,在助听装置或混合刺激装置的情况中,声学刺激;在耳蜗植入装置或混合刺激装置的情况中,电刺激;等等)以这样的方式施加到受体,即受体在音频信号传入时(例如,在另一个人正在与受体说话时等)即刻感知到的方式。
可由处理设施104实施的这些及其它功能在本文中有描述。在随后的描述中,对由系统100实施的功能的任何引用都可被理解为由处理设施104基于存储在存储设施102中的指令106来实施。
图2A至图2C图示出根据本文中描述的原理的、被配置来实现频率特异性定位及语音理解增强的各种不同类型的示例性听力装置的示例性部件。具体地,图2A绘示了耳蜗植入装置200-A的示例性部件,图2B绘示了助听装置200-B的示例性部件,并且图2C绘示了混合刺激装置200-C的示例性部件。如本文中使用的,“听力装置200”可根据术语用于的语境而指代装置200-A、200-B和200-C中的任何或全部,或者指代本文中未明确说明但可服务特定实施方式的另外的听力装置(例如,耳机等)。如图2A至图2C中所示,类似的部件利用类似的数字但利用与具体听力装置对应的字母(即“A”、“B”或“C”)进行标记。例如,每种听力装置200包括相应的音频输入装置202,所述音频输入装置实施相似的功能但利用相应的字母加以区分(即,用于听力系统200-A的音频输入装置202-A、用于听力系统200-B的音频输入装置202-B和用于听力系统200-C的音频输入装置202-C)。在以下针对其它附图的描述中,带有相同数字(例如,“音频输入装置202”)但未带有具体字母的部件将被理解为代表针对任何适合类型的听力装置已标示的部件(例如,音频输入装置202-A至202-C中的任何)。现在将更详细地描述每种听力装置200。
图2A绘示了耳蜗植入装置200-A。如图所示,耳蜗植入装置200-A可包括配置成位于耳蜗植入装置的受体体外的各种部件,包括但不限于音频输入装置202-A、声处理器204-A和头件206-A。耳蜗植入装置200-A可另外包括配置为植入在受体体内的各种部件,包括但不限于耳蜗植入物208-A(也称作可植入耳蜗刺激器)和引线210-A(也称作耳蜗内(intracochlear)电极阵列),所述引线上设置有多个电极212-A。如以下将更详细描述的,另外的或替代的部件也可被包括在耳蜗植入装置200-A内,如可服务特定实施方式的。
音频输入装置202-A可配置为检测呈现给受体的音频信号。音频输入装置202-A可以以任何适合的方式实现。例如,音频输入装置202-A可包括麦克风、比如来自AdvancedBionics的T-MICTM麦克风。这样的麦克风可与受体的特定耳相关联,例如通过借助附接到耳钩的吊杆或柄梗而定位在特定耳的附近(例如,在耳部的外耳内靠近耳道的入口)或靠近耳道的入口保持在耳部的外耳内,所述耳钩配置为选择性地附接到声处理器204-A。在其它示例中,音频输入装置202-A可由设置在头件206-A内的一个或多个麦克风、设置在声处理器204-A内的一个或多个麦克风、一个或多个具有大体全向极性图案的全向麦克风、一个或多个定向麦克风、一个或多个波束形成麦克风(例如,组合为生成前向心型极性图案的全向麦克风)和/或可服务特定实施方式的任何其它适合的一个或多个麦克风。另外或替代地,音频输入装置202-A也可实现为音频源而不是以上描述的麦克风。例如,音频输入装置202-A也可实现为拾音线圈(telecoil),实现为提供预先录制的音频或提供从音频源(比如,数字媒体服务平台)接收的音频的数码装置(例如,Bluetooth装置、FM装置、移动装置、媒体播放器装置等),实现为捕获并传输音频输入信号的远程麦克风,和/或在特定实施方式中实现为可呈现给受体的音频信号的任何其它适合的源。
在一些示例中,音频输入装置202-A可通过这样的方式来“接收”音频信号,即:检测声学信号,并通过将所述声学信号的声能转换成电信号的电能,而生成音频信号(例如,时域音频信号)。在某些示例中,由音频输入装置202-A接收(例如,检测并生成)的音频信号可由音频输入装置202-A内所包括的其它部件(如可服务特定实施方式的)进一步进行:滤波(例如,以降低噪音,以根据特定受体的听力情况来加重(emphasize)或去加重(deemphasize)某些频率等)、波束形成(例如,以使麦克风的极性图案(polar pattern)沿着特定方向“瞄准”,例如沿着受体的前方)、增益调整(例如,以放大或衰减信号以预备由声处理器204处理)和/或其它方式的预处理。
声处理器204-A(即,声处理器204-A内所包括的一个或多个计算部件)可配置为引导耳蜗植入物208-A来生成代表一个或多个音频信号(例如,由音频输入装置202-A接收的一个或多个音频信号)的电刺激和向与受体的听通路(例如,听神经)关联的一个或多个刺激部位施加所述电刺激。示例性的刺激部位包括但不限于在耳蜗、耳蜗核、下丘和/或听通路中的任何其它核内的一个或多个位置。尽管为了简化起见在本文中将电刺激描述成施加到受体的俩耳蜗中的一个或两个,然而将理解的是,刺激电流也可施加到听通路中的其它适合的核。为此,声处理器204-A可根据所选的声处理策略或程序来处理一个或多个音频信号,以生成用于控制耳蜗植入物208-A的适宜的刺激参数。声处理器204-A可包括或由耳后式(“BTE”)单元、体佩式装置和/或可服务特定实施方式的任何其它声处理单元实现。
在一些示例中,声处理器204-A可借由头件206-A与耳蜗植入物208-A之间的无线通信链路214-A以无线方式将刺激参数(比如,呈前向遥测序列(forward telemetrysequence)中所包括的数据字的形式)和/或功率信号发送到耳蜗植入物208-A。将理解的是,通信链路214-A可包括双向通信链路和/或一个或多个专用单向通信链路。在同一或其它示例中,声处理器204-A可向另一声处理器(例如,与受体的另一耳关联的声处理器)发送(例如,无线发送)诸如由音频输入装置202-A检测到的音频信号之类的信息。例如,如以下将更详细描述的,信息可借由无线音频传输链路(未被明示地示出在图1中)传输到另一声处理器。
头件206-A可通信耦接到声处理器204-A并可包括外部天线(比如线圈和/或一个或多个无线通信部件),外部天线配置为促进声处理器204-A与耳蜗植入物208-A的选择性无线耦接。另外或替代地,头件206-A可用于使任何其它外部的装置选择性且无线地耦接到耳蜗植入物208-A。为此,头件206-A可配置成附连到受体的头部并定位成使得容纳在头件206-A内的外部天线通信耦接到耳蜗植入物208-A内所包括的或以其它方式与耳蜗植入物关联的对应的可植入天线(该天线也可由线圈和/或一个或多个无线通信部件实现)。通过这种方式,刺激参数和/或功率信号可经由通信链路214-A在声处理器204-A与耳蜗植入物208-A之间无线传输。
耳蜗植入物208-A可包括可与本文中描述的系统和方法结合使用的任何类型的可植入刺激器。例如,耳蜗植入物208-A可以由可植入耳蜗刺激器实现。在一些替代的实施方式中,耳蜗植入物208-A可包括脑干植入物和/或可植入在受体体内并被配置成向沿着受体的听通路定位的一个或多个刺激部位施加刺激的任何其它类型的活性植入物(activeimplant)或听觉器官假体(auditory prosthesis)。
在一些示例中,耳蜗植入物208-A可配置成根据声处理器204-A向其发送的一个或多个刺激参数来生成代表经声处理器204-A处理的音频信号(比如由音频输入装置202-A检测到的音频信号)的电刺激。耳蜗植入物208-A可进一步配置成经由沿着引线210-A设置的一个或多个电极212-A(例如,借由电极212-A所形成的一个或多个刺激通道)来向受体体内的一个或多个刺激部位施加电刺激。在一些示例中,耳蜗植入物208-A可包括多个独立电流源,所述多个独立电流源每个与电极212-A中的一个或多个限定的通道相关联。通过这种方式,不同的刺激电流水平可借由多个电极212-A同时(也称为“并发”)施加到多个刺激部位。
在描述图2B和图2C的相应的听力装置200之前,将描述图3来进一步说明电刺激可怎样施加到受体的耳蜗组织以激发受体的听觉感知。图3图示出人类耳蜗300的示意性结构,引线(例如,引线210-A)可被插入到这样的耳蜗中以直接向耳蜗组织施加电刺激。
如图3中所示,耳蜗300呈螺旋形状,以基部302开始并以顶部304结束。耳蜗300内设有听神经组织306,在图3中以X标示所述听神经组织。听神经组织306以声调拓扑(tonotopic)方式在耳蜗300内组构。也就是,相对低的频率在耳蜗300的顶部304处或附近(也称为“顶端区域”)进行编码,而相对高的频率在基部302处或附近(也称为“基底区域”)进行编码。因此,沿着耳蜗300的长度的每个位置对应于不同的感知频率。耳蜗植入装置200-A因此可配置为对耳蜗300内的不同位置(例如,沿着听神经组织306的不同位置)施加电刺激来给受体提供听觉。例如,当引线210-A恰当地插入到耳蜗300中时,每个电极212-A可位于耳蜗300内的不同耳蜗深度处(例如,在听神经组织306的不同部位处),使得施加到一个电极212-A的刺激电流可致使受体感知到某一频率而该频率不同于施加到不同电极212-A(例如,位于耳蜗300内的听神经组织306的不同部位处的电极212-A)的相同刺激电流使受体感知到的频率。
回到图2A至图2C的听力装置,图2B示出了助听装置200-B。如图所示,助听装置200-B包括音频输入装置202-B和声处理器204-B,音频输入装置202-B和声处理器204-B各自可实施分别与以上描述的音频输入装置202-A和声处理器204-A类似的功能。然而,代替如以上关于耳蜗植入装置200-A所描述的利用头件来向被配置为直接对受体的耳蜗组织施加电刺激的耳蜗植入物发送刺激参数,助听装置200-B配置为在这样的假定条件下操作,即:受体至少针对某些频率保有可用的自然听力能力。相应地,不同于引导电刺激施加,声处理器204-B配置为引导扬声器216-B向受体施加声学刺激,所述声学刺激可利用受体的自然听力能力被感知到。例如,助听装置200-B可使传入的音频信号的音量放大以便使这些音频信号更容易听到、加重某些频率、去加重某些频率或另外地以对促进受体自然听到会是有效的任何方式来处理和呈现代表传入的音频信号的声学刺激。
混合刺激装置200-C包括与耳蜗植入装置200-A和助听装置200-B两者类似的元件,并可因此用作这些另外的听力装置的混合物。具体地,例如,混合刺激装置200-C被示出为包括音频输入装置202-C(与音频输入装置202-A和202-B相似)、声处理器204-C(与声处理器204-A和204-B相似)、头件206-C(与头件206-A相似)、耳蜗植入物208-C(与耳蜗植入物208-A相似)、带有电极212-C的引线210-C(与带有电极212-A的引线210-A相似)、通信链路214-C(与通信链路214-A相似)和扬声器216-C(与扬声器216-B相似)。利用这些部件,对于受体无法用他或她的自然听力能力听到的频率,混合刺激装置200-C可直接向受体的耳蜗提供电刺激,而另外对于受体能够自然听到的其它频率,则提供声学刺激。
为了说明与听力装置200之一集成的空间增强系统的一个示例性实施方式,图4示出了实现根据本文中描述的原理的频率特异性定位及语音理解增强的听力装置200的示例性声处理器204中所包括的示例性部件。换言之,图4中的声处理器204图示出可在听力装置200内实现系统100的一种方式的示例性细节。
如图所示,声处理器204包括不同的处理单元402至410。更具体地,声处理器204包括频率变换单元402、空间增强处理单元404和逆频率变换单元410,空间增强处理单元404包括语音理解增强单元406和定位增强单元408。如图所示,声处理器204可接收音频信号412,音频信号412可由频率变换单元402使用来生成频率信号414(例如,频率信号414-1和414-2)。空间增强处理单元404可基于频率信号414生成输出频率信号416,并且输出频率信号416可由逆频率变换部410变换成输出音频信号418。现在将更详细地描述图4中所绘的各个单元和信号。
音频信号412可以是由音频输入装置(比如,以上描述的音频输入装置202中的任何)接收的任何音频信号。例如,音频信号412可以是由一个或多个麦克风捕获的音频信号,所述一个或多个麦克风检测呈现给受体的声学信号(例如,传播到受体的声波)并将所述声学信号转换成电子信号(比如,模拟信号、数字信号等)。音频信号412被图示为深色箭头以指示该音频信号412为时域信号。因此,音频信号412可代表关于时间的音频数据、但不会基于分量的相应频率来区分音频的不同分量。在一些示例中,音频信号412可包括源自特定方向的语音内容(例如,人说话)或其它旨在由受体听到和理解的声音(例如,音乐等)。另外或替代地,音频信号412也可代表呈现给受体的任一耳或两耳的环境噪声和/或其它声音。
频率变换单元402可将音频信号412视作输入并可配置为将音频信号412变换成多个频率信号414(例如,比如图4中所示的频率信号414-1和414-2)。尽管两个频率信号414被图示在图4中,然而将理解的是,在某些示例中也可生成不止两个频率信号。具有不止两个频率信号的具体示例将在以下相对于图9更详细地描述。
如本文中使用的,“频率信号”(比如,频率信号414中的一个)可指的是包括或限于原始音频信号(例如,音频信号412)的特定频率分量的音频信号的版本。例如,频率信号可仅包括包含在该频率信号据说与之关联的一个或多个频率范围内的那些频率分量。作为一个示例,频率变换单元402可配置为实施变换函数(例如,诸如短时FFT(“StFFT”)函数之类的FFT函数)以将时域信号转换成频域信号,所述频域信号包括描述信号的不同频率分量的幅度和相位的复数系数。在该示例中,频率信号可包括或代表对于某些频率分量(例如,但是,在频率信号414的情况中,不是所有的频率分量)的复数系数。作为另一示例,频率变换单元402可包括一个或多个滤波器(例如,低通滤波器、高通滤波器、带通滤波器等),所述一个或多个滤波器配置为将覆盖宽广频率范围的时域信号滤波成滤波后的覆盖较窄频率范围的时域信号。在该示例中,频率信号414可包括或代表这样的滤波后的时域信号。
在这些方式或其它适合的方式的任何中,频率变换单元402可将音频输入信号412分成多个频率信号414,频率信号414中的每个可与不同的频率范围关联。例如,频率信号的频率范围可以重叠或不重叠,但会配置成不相同的。在一些示例中,如将在以下更详细描述的,这些频率范围可合起来构成整个可闻频率范围。例如,与频率信号414-1关联的频率范围可包括高于特定交叉频率的所有可闻频率(audible frequency),并且与频率信号414-2关联的频率范围可包括低于所述交叉频率的所有可闻频率。
在一些示例中,频率变换单元402可使用诸如StFFT操作之类的FFT操作来将音频信号412转换到频域中。StFFT操作对于将音频信号转换到频域中可提供特定的实践优势,因为硬件模块(例如,专用StFFT芯片、包括StFFT模块的微处理器或其它芯片等)会是紧凑、普遍可得、相对便宜的等。
如图所示,空间增强处理单元404可包括不同的增强单元(例如,语音理解增强单元406、定位增强单元408和/或未明示示出的其它适合的增强单元),所述不同的增强单元各自配置为处理音频信号的不同分量(例如,不同的频率信号414,所述不同的频率信号各自与不同的频率范围关联)来增强受体实施各种听力任务的能力。在一些示例中,空间增强处理单元404可配置为随时或在借由用户输入(例如,由受体提供的用户输入)而被手动激活时操作(例如,利用增强单元406和408中的任一者或者两者)。在其它示例中,空间增强处理单元404(以及其中包括的增强单元406和408)可基于诸如音频输入信号412和/或频率信号414的频率、电平或相位特性之类的各种系统标准或可服务特定实施方式的其它适合的标准而被自动激活和/或停用。
语音理解增强单元406可实施可服务特定实施方式的任何适合的语音理解增强技术或算法。如本文中使用的,信号的语音理解增强可指的是将会促进由接收刺激的受体所作的语音理解的对该信号的任何处理,基于该信号,所述刺激引起听觉感知。语音理解可相对于任何主观的、客观的、临床的、非临床的、标准的、非标准的或其它适合的语音理解标准被增强。例如,当受体主观上感觉他或她能够更容易或更准确地理解他人所说的话时,语音理解会是增强的。作为另一示例,当受体在配置来测量倾听、费力程度(effort)等(例如,经由脑电图(“EEG”)等)的临床测试上客观表现更好时,语音理解会是增强的。
作为语音理解增强的一个示例,CROS增强被考虑,在CROS增强中,在受体的一耳(例如,“弱”耳)处捕获的语音经路由而在另一耳(例如,“强”耳)处被呈现以提升受体理解语音内容的能力。在CROS语音理解增强中,听力装置可与受体的第一耳(即,与受体的第二耳对生定位的那耳)关联,并且语音理解增强单元406为施加语音理解增强而对频率信号414-1进行的处理可包括关于频率信号414-1实施CROS操作以在第一耳处同侧放大音频信号的被在第二耳处对侧接收的方面(例如,语音内容)。
作为另一示例,语音理解增强可包括或通过定向麦克风跟踪增强来实施,其中定向麦克风被朝着语音源定向以加重(例如,放大)语音同时去加重(例如,衰减)源自其它方向的声音。在一些示例中,定向麦克风也可沿着特定方向静态定向(例如,比如朝向在受体前方产生的声音、朝向在受体后方产生的声音等)。在其它示例中,定向麦克风也可动态定向以跟踪或“拉近到(zoominto)”声源,甚至当声源的方向随着时间的推移而发生改变时(例如,当源移动时,当受体转动他或她的头部时等等)。.
语音理解增强单元406可以以任何适合的方式处理频率信号414-1来施加语音理解增强。例如,在某些示例中,对频率信号414-1的处理可包含依照一组语音理解参数来实施语音理解增强操作。然而,在其它示例中,对频率信号414-1的处理可包含动态地调整所述一组语音理解参数中的至少一个语音理解参数。例如,当语音理解增强操作正依照一组语音理解参数来实施时,语音理解增强单元406可配置为调整至少一个语音理解参数,以由此改变语音理解增强施加到信号的方式(例如,以基于信噪比来改变同侧信号与对侧信号的混合比,以改变将对侧信号路由到同侧使用的增益,以改变定向麦克风跟踪语音源的方式等等)。
为进行说明,图5A和图5B示出了示例性的原理,系统100(例如,待与声处理器204集成的在图4中示出的系统100的实施方式)可借由所述原理来实现语音理解增强。具体地,图5A和图5B图示出CROS操作会怎样促进由受体502所作的语音理解。
在图5A中,受体502被示出为具有包括左耳504-L和右耳504-R的两耳504。在受体502左侧位置处,声源506(例如,代表正在与受体502交谈的人,或代表声音的另一个源,声音包括语音或者受体502期望理解的其它细微声音)产生声学信号508,声学信号508由通过空气朝受体502传播的声波组成。声学信号508的幅度以声学信号508的高度的形式图示在图5A中。然而,由于图5A中图示的“头影效应(head-shadow effect)”,在声学信号508传播向受体并经过或绕过受体502的头部时,该幅度(以及,与之相伴地,受体502感知到的音量)不是不变的。具体地,声学信号508的第一区508-1被示出为具有由声源506产生的相对较大的幅度。声学信号508的第二区508-2被示出为:由于声能被受体502的头部阻挡、吸收、反射或以其它方式影响(称为头影效应的效应),幅度渐进下降。因此,当声学信号508以第三区508-3到达耳504-R时,声学信号508的幅度相对较小,这意味着基于耳504-R的感知来听闻和理解语音将会比基于耳504-L的感知来听闻和理解语音相对更加困难。
为了增强受体502理解声学信号508所代表的语音或其它细微声音的能力,会期望声学信号508的幅度在耳504-L和504-R之间得到维持,而不是减小。例如,如果右耳504-R是受体502的俩耳中“更强”的(例如,如果受体502的左耳504-L只能感知相对低的频率但右耳504-R既能感知低频率也能感知高频率),则尤其如此。
相应地,如图5B中所示,具有音频输入装置202-L并定位在左耳504-L处的声处理器204-L可通信地耦接到具有音频输入装置202-R并定位在耳504-R处的声处理器204-R。具体地,声处理器204-L和204-R可借由通信链路510通信耦接,所述通信链路可实现为配置成在声处理器204-L和204-R之间实时交换信息的任何适合类型的无线或有线链路。声处理器204-L可配置为实施CROS操作,其中由音频输入装置202-L检测到的声学信号508(或声学信号的至少一个方面,例如语音内容)的表示可直接路由到声处理器204-R以在右耳504-R处以没有图5A中图解的头影衰减的状况被呈现。通过这种方式,受体502不仅可感知到发出声学信号508的声源506是在受体502的左侧,而且还会感知到另一个声源512(例如,物理世界中实际上并不存在的虚拟或模拟声源)以与左耳504-L处检测到的幅度相同的幅度发出相同的声学信号508。
通过这种方式,受体502会能更容易地理解(包含在)声学信号508内的语音内容,因为受体502的两耳504(例如,在失配情况中弱耳和强耳两者)都能够听到高幅度的语音。然而,如已提到的,语音理解的这种增强的折中交换是受体502的定位能力会因该CROS操作而折中。具体地,在图5A的示例中,受体502可基于左耳504-L处的声音幅度大于右耳504-R处的声音幅度这一事实来成功地定位出声源506是在受体502的左侧。这被称为ILD暗示,并且是人脑用来定位声音的主要暗示。尽管图5B中图示的CROS操作因以上描述的原因而会有助于语音理解,然而注意到,ILD暗示将因CROS操作而折中或完全消除,因为现在受体502的双耳会感知到相同幅度的声学信号508。
出于该原因,系统100可配置为仅关于某些频率而不是所有可闻频率来实施语音理解增强(例如,该示例中CROS操作)。具体地,回到图4,语音理解增强单元406被示出为仅对频率信号414-1而不对频率信号414-2进行操作。例如,如果频率信号414-1包括对于待要理解的语音的细微差别特别重要的相对高的频率,则语音理解增强可仅关于音频信号412的这些高频分量来实施,由此允许不同的增强(例如,由定位增强单元408实施的定位增强)被施加到音频信号412的较低频率分量(例如,其可被并入到频率信号412-2中)。
定位增强单元408可实施可服务特定实施方式的任何适合的定位增强技术或算法。如本文中使用的,信号的定位增强可指的是将会促进由接收刺激的受体所作的定位的对该信号的任何处理,所述刺激用于基于所述信号引起听觉感知。例如,定位增强可包括或借由IABF操作来实施,所述IABF操作针对频率信号414-2,以使频率信号414-2按照端射方向极性图案(end-fire directional polar pattern)(即,与基于音频信号412生成的频率信号414-2的极性图案相异的极性图案)进行空间滤波。由于以这种方式使频率信号414-2按照端射方向极性图案进行滤波,上述头影效应实际上会被加重和加强,以由此增强给受体502的ILD暗示,并使受体502更容易实施针对与频率信号414-2关联的频率范围(例如,在一个示例中,较低频率)的定位任务。
为进行说明,图6示出了示例性的原理,系统100可借由所述原理来实现IABF定位增强。如图所示,在图6的顶部处的受体502的顶视图标示了关于受体502的某些角度(即,受体正前方0°、左侧90°、后方180°以及右侧270°)。图6还图示出端射方向极性图案可怎样基于在各耳504处实现的相应的方向极性图案604(例如,用于耳504-L处的听力装置的方向极性图案604-L和用于耳504-R处的听力装置的方向极性图案604-R)来实现。
如本文中使用的,“端射方向极性图案”可指的是具有双生的成镜像的面向外的波瓣(lobe)的极性图案(如由方向极性图案604示出的)。例如,两个麦克风(或其它适合的音频输入装置202)可以与互为对侧的听力装置200(比如,安设在受体502的各耳504处的耳蜗植入物和助听器)关联(例如,包括通过图5中的声处理器204-L和204-R)。麦克风可沿着从耳504-L经受体502的头部至耳504-R的轴线设置,且因此可形成遵照端射方向极性图案的定向音频信号。具体地,通过对在两个麦克风处检测到的音频信号进行空间滤波,系统100可以创建从左耳径向向外沿垂直于左耳的方向静态定向(即,向外指向90°)的第一波瓣和从右耳径向向外沿垂直于第二耳的方向静态定向(即,从右耳向外指向270°)的第二波瓣。由于轴线穿过两个麦克风(例如,从受体的一耳到另一耳),因此与受体的左耳垂直的方向会和与受体的第二耳垂直的方向沿直径相反。换言之,端射方向极性图案的波瓣会远离彼此指向,如由方向极性图案604-L和604-R示出的。
为实施IABF操作,定位增强单元408可使用波束形成操作,以根据音频信号412在由音频输入装置202捕获时可实现的任何初始极性图案来生成端射方向极性图案。例如,在某些实施方式中,音频信号412可由具有全向(或基本上全向)极性图案的麦克风捕获,在其它实施方式中,音频信号412可由具有定向(例如,前向、后向等)极性图案的麦克风捕获,或者在仍其它的实施方式中,音频信号可由其它麦克风或这些类型的麦克风(或其它类型的音频输入装置)的组合捕获。不管由音频输入装置202捕获时的音频信号412的极性图案(及因此频率信号414的极性图案)为何,当所述极性图案被整形为与由方向极性图案604-L和604-R的静态对向心型波瓣图示的端射方向极性图案相像时,ILD暗示会是增强的。
如通过方向极性图案604-L图示出的,直接从受体502的左侧(即,从90°)发出的声音可在没有任何衰减的情况下在左耳处被检测到,而直接从右侧(即,从270°)发出的声音会在有极大衰减的情况下被检测到或者可能会被完全阻挡。在90°与270°之间,其它声音与变化的衰减程度相关联。例如,对于从受体502的正前方(从0°)、从受体502的正后方(从180°)或从与受体502的左侧相关的任何角度(即,大于0°且小于180°)发出的任何声音的衰减非常小。然而,对于从声音收到受体502的头影阻挡的角度(即从大于180°且小于360°的角度)发出的声音,声级随着趋近受体502的正右侧(270°)而迅速掉落,在正右侧处所述(声)级会被完全衰减或阻挡。与之相反地,如由镜像的方向极性图案604-R指示的,直接从受体502的右侧(即,从270°)发出的声音可在没有任何衰减的情况下在右耳处被检测到,而直接从左侧(即,从90°)发出的声音会在有极大衰减的情况下被检测到或者可能会被完全阻挡等等。
为了说明由图6的基于IABF的定位增强实现的端射方向极性图案的作用,在图6的底部处还示出了ILD幅度曲线图606。ILD幅度曲线图606图示出相对于声音发出的角度的在左耳处检测到的声音的级别与在右耳处检测到的声音的级别之间差异的幅度(即绝对值)。相应地,如图所示,ILD幅度曲线图606在0°附近、180°附近和360°(被重新标记为0°以指示返回到头部的前方)附近非常低(例如,0dB)。这是因为在0°和180°处(即,在受体502的正前方和受体502的正后方)没有或者几乎没有ILD,并且两耳检测到相同级别的声音。相反,ILD幅度曲线图604在90°附近和270°附近相对较高(例如,大于25dB)。这是因为在90°和270°处(即分别在受体502的正左侧和正右侧)存在非常大的ILD,并且一耳检测到的声音的级别比另一耳检测到的声音的级别高得多。换言之,ILD幅度曲线图606图示出IABF操作会怎样加重、增强或甚至夸大头影效应和ILD暗示以便增强受体502实施定位任务的能力。
返回图4,由定位增强单元408实现的定位增强的其它示例可包括:图6中图示的IABF操作以及其它的ILD增强和扩大技术;ILD保留技术,比如以下将会更加详细描述的增益耦合;ITD保留及扩大技术;ITD转ILD转换技术;单耳方向暗示(例如,头部相关传递函数(“HRTF”)校正技术等)等等。
如同语音理解增强单元406,定位增强单元408可以以任何适合的方式处理频率信号414-2来施加定位增强。例如,在某些示例中,对频率信号414-2的处理可包含依照一组定位参数来实施定位增强操作。在其它示例中,对频率信号414-2的处理可包含动态地调整所述一组定位参数中的至少一个定位参数。例如,当定位增强操作正依照一组定位参数来实施时,定位增强单元408可配置为调整至少一个定位参数,以由此改变定位增强施加到信号的方式(例如,以改变端射方向极性图案的波瓣的指向性或形状等)。
由于语音理解增强施加于频率信号414-1并且定位增强施加于频率信号414-2,因此空间增强处理单元404可利用这些处理后的信号来生成输出频率信号416,输出频率信号416会是与频率信号414所关联的两个频率范围都关联(即,覆盖所述两个频率范围或对应于所述两个频率范围)的频率信号(例如,频域信号)。当被进一步处理以便呈现给受体时,输出频率信号416中所包括的各频率分量可共同促进受体实施语音理解任务(基于输出频率信号416中与第一频率范围关联的频率分量)和定位任务(基于输出频率信号416中与第二频率范围关联的频率分量)两者。
为此,输出频率信号416可通过逆频率变换单元410从频率信号(例如,频域信号,如由白色箭头指示的)变换成输出音频信号418(例如,时域信号,如由黑色箭头指示的),所述逆频率变换单元可实施逆FFT操作(例如,使用逆StFFT技术等),逆FFT操作是由频率变换单元402实施的操作的逆操作。在一些示例中(例如,如果频率信号414是滤波后的时域信号而不是频域信号),则输出频率信号416会实现为已经覆盖全部频率范围的时域信号。在这些示例中,输出频率信号416可服务与输出音频信号418相同的目的,并且可以不使用逆频率变换单元410。输出音频信号418可通过声处理器204或听力系统的其它部件来进一步处理以最终被用在向受体提供刺激中。该另外的处理可包括与其它信号混合、校准、平衡、映射、放大、传输和/或可服务特定实施方式的任何其它操作。
以上描述的听力装置200-A至200-C中的每者都是从配置为服务受体的单耳(即,左耳或右耳)的单个装置的视角来图示和描述的。另外,与图4中图示的声处理器204集成的系统100的实施方式仅图示出单个听力装置的一个声处理器。实际上,将理解的是,在某些实施方式中,系统100可由仅具有单个听力装置的单耳听力系统实现。例如,单个装置会是可定制的以仅配置作为助听器(例如,具有定位增强和用于语音理解增强的定向麦克风),以配置作为组合的助听器和CROS装置(例如,具有定位增强、定向麦克风和定向麦克风跟踪增强),或者以仅配置作为CROS装置(例如,包括定向麦克风跟踪增强),如会适于特定受体和他或她的相应听力损失分布的。当在这样的单耳听力系统中实现IABF定位增强时,可以使用仅半个所述端射方向极性图案(例如,方向极性图案604的一个波瓣)。当CROS语音理解增强通过这样的单耳听力系统被实现时,一耳(例如,较强的那耳)可装配有听力装置,而对生的那耳可以仅包括音频输入装置(例如,麦克风)。在某些情况下,这可能是一种暂时的情况,比如当受体的一耳首先丧失听力(因此该耳需要听力装置)而同时对生的另一耳中仍保有足够的残余听力时,在这种情况下,他或者她在一段时间段内会搁置购买第二听力装置。
在其它情况下,如上文已提到的,与本文中描述的任何听力装置200关联的系统100的任何实施方式可替代地与双耳听力系统关联,所述双耳听力系统包括既用于受体的左耳也用于受体的右耳的互操作听力装置(interoperating hearing device)。具体地,例如,本文所描述的听力装置200中的任何可以是第一听力装置,该第一听力装置被包括在还包括第二听力装置的双耳听力系统中。类似第一听力装置,第二听力装置可包括第二存储器和第二处理器,第二存储器存储另外的指令,并且第二处理器与所述存储器通信耦接并配置为执行所述另外的指令以实施与由第一听力装置实施的那些操作类似的操作(例如,接收音频信号、生成第一和第二频率信号、生成输出频率信号等)。
为进行说明,图7示出了示例性的双耳听力系统700,所述双耳听力系统包括针对受体(比如,受体502)的各耳实现系统100的相应的听力装置702(即,用于受体502的左耳504-L的听力装置702-L和用于受体502的右耳504-R的听力装置702-R)。图7还示出了通信链路704可使所述听力装置702通信耦接,从而允许双耳听力系统700内的所述听力装置702之间实时通信。该实时通信可被使用来在所述听力装置之间进行协调和进行任何适合的数据的交换,数据被使用来实现本文中所描述的定位增强或语音理解增强中的任何。例如,通信链路704可代表由图5B中的通信链路510实现的用于链接该示例中图示出的特定的听力系统中的声处理器204-L和204-R的通信链路。
在某些实施方式中,听力装置702-L和702-R可以是相同类型的听力装置。例如,双耳听力系统700可实现为双耳耳蜗植入系统,其中听力装置702-L和702-R各自被实现为耳蜗植入装置(例如,如以上描述的耳蜗植入装置200-A),所述耳蜗植入装置包括相应的耳蜗植入物和声处理器。作为另一示例,双耳听力系统700可被实现为双耳助听系统,其中听力装置702-L和702-R各自被实现为助听装置(例如,如以上描述的助听装置200-B)。作为仍另一示例,双耳听力系统700也可被实现为双耳混合刺激系统,其中听力装置702-L和702-R各自被实现为混合刺激装置(例如,如以上的混合刺激装置200-C),所述混合刺激装置包括相应的耳蜗植入物、声处理器和扬声器。
在其它实施方式中,听力装置702-L和702-R可以是不同的听力装置类型。如本文中所使用的,包括两种不同类型或形式的听力装置的双耳听力系统将被称为双式听力系统。相应地,双耳听力系统700可被实现为双式听力系统,其中听力装置702-L由第一种听力装置(例如,耳蜗植入装置、助听装置、混合刺激装置等)实现,并且听力装置702-R由与第一种听力装置不同的第二种听力装置实现。如以下将更详细描述的,为受体提供特定优势的一种双式听力系统可以是这样的双式听力系统,即:在该双式听力系统中,一个听力装置702由耳蜗植入装置实现,并且另一个听力装置702由助听装置实现。
不管系统100是由单耳听力系统实现还是由双耳听力系统实现,且不管与系统100关联或实现系统100的听力装置是哪种或哪些类型,系统100可配置为检测并响应于声音(且尤其是语音)源自的空间位置。为此,为施加定位增强而对频率信号的处理可包含对频率信号的空间滤波后的版本和未滤波的版本进行比较、组合或另外实施信号处理,以便考虑(account for)声源的空间位置。具体地,例如,系统100可处理1)已按照端射方向极性图案进行空间滤波后的第一版本的频率信号,以及2)尚未进行空间滤波的第二版本的频率信号。通过这种方式,系统100可清楚地识别或以其它方式考虑音频信号的某一方面(例如,语音内容)源自的空间位置。例如,空间位置可相对于受体的姿势、或者换言之相对于受体位于世界何处及受体取向方式(例如,受体面向哪个方向等)来识别。因此,对频率信号414-1和414-2的处理可各自基于识别出的、音频信号的该方面源自的空间位置来实施。
为进行说明,图8示出了相对于受体502的姿势的示例性空间位置,音频信号可源自这些空间位置。具体地,如图所示,受体502被示出为面向页面的顶部,页面的顶部所处的角度802为0°。声源506也被示出为当前所在的角度802为0°,然而,如由声源506旁边的箭头所指示的,将理解的是,当声源506移动时和/或当受体502的姿势变化时(例如,当受体502旋转或移动他或她的头部时),声源506相对于受体502的姿势所位于的角度会动态地变化成0°与360°之间的任何角度。尽管在图8的图示中角度802在围绕受体502的二维圆圈上进行图示,然而将理解的是,在某些实施方式中,角度会与三维球体关联。相应地,尽管角度802可代表相对于受体502的方位角,然而在某些实施方式中还可考虑高度角(elevationangle)。
如图所示,双耳听力系统700被示出为由受体502佩戴,包括左耳504-L处的听力装置702-L、右耳504-R处的听力装置702-R和在听力装置702之间的通信链路704。相应地,系统100(在该情况中,在双耳听力系统700内实现和/或由各个听力装置702独立实现)可配置为动态地识别来自声源506的声音源自的角度802,并且基于该识别的角度802,可确定是否激活和施加不同类型的增强以及不同类型的增强怎样来激活和施加。除了高度依赖于受体502的个体特征(例如,受体502的听力图(audiogram)、受体502的响度增长功能、受体502对于理解语音的自然能力等)之外,用于定位和语音理解增强的算法的效力还高度依赖于倾听状况、包括语音源和噪音源的方向(例如,角度802)。相应地,定位增强算法和/或语音增强算法的激活和参数化(即,设置特定的定位参数或语音理解参数)可基于角度802和/或可检测到的其它状况特异性的特征来实施。
为进行说明,图9示出了示例性的频率特应性增强方案900(“方案900”),其中假定受体502使用双式双耳听力系统,该双式双耳听力系统包括在左耳504-L处的耳蜗植入装置和在右耳504-R处的助听器。如图所示,方案900指示针对不同的示例性角度802待对不同频率范围的传入频率分量施加的不同类型定位及语音理解增强。例如,方案900包括针对将会位于0°的角度802处(在受体502的正前方)的、位于90°的角度处(在受体502的正左侧,在带有耳蜗植入装置的那侧)的、位于180°的角度处(在受体502的正后方)的以及位于270°的角度处(在受体502的正右侧,在带有助听装置的那侧)的声源506的竖栏。将理解的是,在频率特异性增强方案的与方案900相似的某些实施方式中可还包括其它特定角度,并且该方案900可以以任何适合的方式来处理未明示示出的其它角度802。例如,这样的角度可以以与由方案900考虑到的最接近的角度类似的方式来处理(例如,按照90°的竖栏中所指示的来处理100°的角度802,按照180°的竖栏中所指示的来处理150°的角度802等等)。在其它示例中,这样的角度可利用对于方案900考虑到的最接近的角度所指示的技术的组合来处理。
对于与角度802关联的每列竖栏,方案900示出了与不同类型的增强(在“增强”那列竖栏中示出)关联的多个频率范围(在“频率范围”那列竖栏中示出)。与各种类型的增强关联的这多个频率范围体现出在以上描述过的较为简单的双频率范围类型的实施方式之上的另外程度的复杂性。
在某些示例中,可以采用被一特定交叉频率分开的仅两个频率范围(例如,高频率范围和低频率范围)。具体地,第一频率范围(即本示例中的低频率范围)可包括低于交叉频率的所有可闻频率,而第二频率范围(即本示例中的高频率范围)可包括大于交叉频率的所有可闻频率。可视作“可闻频率”的频率会因人而异且对于某些个体来说可范围从约20Hz至约20kHz。对于以下示例,将假定为理解语音及另外地感知世界而必须感知到的大多数可闻频率分量在0Hz与8.0kHz之间。
在双频率范围类型的实施方式中,单个交叉频率可被设置为(例如,基于受体的特征、偏好等)处于特定频率(例如,在一个示例中900Hz)。相应地,低频率范围可包括直至交叉频率的所有频率分量(例如,在该示例中0Hz至900Hz),而高频率范围可包括高于交叉频率的所有可闻频率分量(例如,在该示例中900Hz至8.0kHz)。在一些实施方式中,不同频率分量可与FFT区间或其它类型的可以以任何适合的方式被限定的预定频率通道相关联。例如,听力装置的一种实施方式可将传入的音频信号分成16个不同的频率通道。因此,低频率范围会与这些通道的某个子集(例如,通道1-5)关联,而高频率范围会与这些通道的另一个子集(例如,通道6-16)关联。
通道的分配和交叉频率的选择可以以任何适合的方式来实施,并可基于验配过程(fitting procedure)针对特定的受体进行定制。例如,验配过程可包含确定受体的个体听力图以及确定哪耳在两只中表现更强。然后可基于两耳之间的表现差异将交叉频率设置为允许助听侧(“声耳(acoustic ear)”)有功能性听力的最高频率。具体地,如果声耳表现(例如,在噪声中的语音理解)不良,则可减小交叉频率以允许更多的信息被传输(例如,经由CROS操作)到耳蜗植入装置,因为耳蜗植入装置是能够听到更宽频率范围的更强的那耳。相反,如果声耳表现良好,则可增大交叉频率,使得较少的信息将经由CROS操作而被传输到耳蜗植入系统。
另外,可基于每耳的表现情况来确定对于各耳的单独的混合比。例如,如果耳蜗植入侧上的非声耳表现良好,从声耳(助听耳)传输的信号的权重将是相对高的。相反,如果耳蜗植入侧上的非声耳没有表现特别好,传输的信号的权重将是较低的。混合比还可以基于境况且尤其是基于各耳处的信噪比来确定。如果因为信号经CROS操作传输而信噪比相对较高,则在接收侧处给予对侧信号的权重将是相对大的。
虽然双频率范围类型实施方式可很好地服务某些受体,但其他受体可能会在包括多个交叉频率(比如,示出在方案900中的)的多频率范围类型实施方式下表现更好。具体地,在这些实施方式中,第一和第二频率信号比如本文中所描述的那些频率信号(例如,频率信号414)可被包括在交错频率信号的集合内,所述交错频率信号的集合另外还包括与第三频率范围关联的第三频率信号、与第四频率范围关联的第四频率信号以及潜在可能地与另外相应的频率范围相关联的另外的频率信号。这里同样地,第一频率范围可包括低于某一特定交叉频率(第一交叉频率)的可闻频率,并且第二频率范围可包括大于所述特定交叉频率的可闻频率。然而,由于另外的频率信号及相应的频率范围的包括,第二频率范围可被限制为低于第二交叉频率。进而,第三频率范围可包括大于第二交叉频率且低于第三交叉频率的可闻频率;第四频率范围可包括大于第三交叉频率且低于第四交叉频率的可闻频率;并且无论特定实施方式中会包括多少频率信号和频率范围(例如,在方案900的示例中五个频率信号和五个频率范围),以此类推。
如图9中所示,向与每个相应的频率范围关联的每个相应的频率信号指派的增强的类型会是交错的,使得受体可在遍及整个可闻频率范围的定位任务和语音理解任务上都有所促进。具体地,输出频率信号(例如,如果存在不止两个频率信号414,则类似于频率信号416)的生成可进一步包括:将第三频率信号与第一频率信号一起进行处理以对第一和第三频率信号施加定位增强,将第四频率信号与第二频率信号一起进行处理以对第二和第四频率信号施加语音理解增强,并且以此类推。如在方案900中示出的,三个全异的频率范围(即0Hz-900Hz、1.8kHz-3.0kHz以及4.5kHz-8.0kHz)各自与定位增强相关联,而填补间隙的两个交错的频率范围(即900Hz-1.8kHz和3.0kHz-4.5kHz)与语音理解增强相关联。这种交错对于能够使用比相对较低的频率(例如,900Hz)更大的频率的定位暗示的受体(例如,仍然具有高于900Hz的残余听力的受体)尤其有益。
尽管本文中已描述了双频率范围类型实施方式并在图9中图示出了五部分式的多频率范围类型实施方式,然而将理解的是,任何适合数量的多个频率范围都可被使用,如可服务特定实施方式的。在极端情况下,例如,音频信号所分成的每个频率分量(例如,每个FFT区间、每个通道等)都可与其自身的频率范围相关联,其中所有的奇数频率分量与定位增强相关联并且所有的偶数频率分量与语音理解增强相关联(或者反之亦然)。
如在方案900中示出的,不管声源的角度为何,对于与指派为定位增强的频率范围关联的所有频率信号,都会实施IABF操作(“IABF”),在某些示例中,IABF操作将被理解为与其它ILD/ITD增强或保留技术进行组合或替换。然而,不管声源的角度为何,在指派为语音理解增强的频率范围内,IABF操作都不会被激活。不管频率范围或增强的类型为何,只要检测到声源位于受体的前方(0°)或者后方(180°),都会实现定向麦克风跟踪增强(“定向麦克风”)。然而,只要检测到声源在受体的侧边,定向麦克风跟踪增强都会被停用。在这些情况中,对与指派为语音理解增强的频率范围相关联的频率信号施加恰当类型的CROS操作。例如,如果声源在90°处(在耳蜗植入侧),则会实施用于将检测到的音频信号传输到助听装置的CROS操作(假设受体的声耳有能力听到这些频率,(但)对于某些高频率范围可能不是这种情况)。作为另一示例,如果声源在270°处(在助听侧上),则会实施用于将检测到的音频信号传输到耳蜗植入装置的CROS操作。
在某些实施方式中,会期望针对特定受体单独定制诸如IABF操作等的ILD增强。例如,通过精确确定受体所感知到的声音源自的地方(基于他或她的定位能力)及其与声音实际源自的地方相比如何,可通过恰当地配置听力装置来至少部分地补偿不准确性。作为另一示例,随着时间的推移,某些受体的大脑可能已经发展出替用的定位策略,这些策略较少地倚助于ILD暗示而更多地倚助于其它类型的暗示(例如,受头影影响的声音特征的“尖锐度”或“低沉度”)。对于这类受体,定制ILD暗示增强的程度(例如,通过定制图6中所示的端射方向极性图案的尺寸和形状等)以帮助受体学习倚助于由系统提供的ILD线索,会是有帮助的。
确定个体受体特征以允许以这些方式进行系统定制,可以以任何适合的方式来实施。例如,控制界面可被使用来确定受体所感知的,所述控制界面借由移动装置等而呈现给受体。系统100然后可配置为基于由受体向控制界面提供的用户输入来生成感知数据。例如,感知数据可代表由受体感知到的可闻度和响度、受体定位声音的能力、受体理解呈现给受体的语音的能力和/或与受体和/或他或她对声音的感知相关联的任何其它适合的特性。系统100可基于感知数据来处理频率信号(例如,频率信号414)以施加定位及语音理解增强。
为进行说明,图10示出了示例性的控制界面,受体借由所述控制界面来提供代表受体感知的可闻度或响度或者受体定位声音和/或理解语音的能力的感知数据。具体地,图10示出了呈现控制界面1002的装置1000(例如,智能手机、平板装置、膝上型电脑或其它个人计算机、针对听力系统的专用装置、由临床医师使用的验配工具等),所述控制界面允许进行关于特定受体的具体信息的输入。控制界面1002可包括允许特定受体进行数据输入的任何适合类型的图形用户界面或基于文本的用户界面。在一些示例中,控制界面1002可配置为向受体呈现声音(例如,经由受体所佩戴的耳机、经由耦接到装置1000的扬声器等)并提示受体(或对受体进行测试的临床医师)指示受体所感知到的。例如,如在图10的示例中示出的,在声音呈现过后,受体被要求将滑块工具1004滑动到受体的左耳与右耳的绘示之间的特定点以指示受体感知到的ILD(即,一耳感知到的声音比之另一耳感知到的声音的响亮程度)。
如以上提及的,本文中描述的系统和方法对于双式听力系统比如包括助听装置(例如,在右耳处,比如在结合图9描述的示例中)和耳蜗植入装置(例如,在左耳处,比如在图9的示例中)的听力系统的受体会是特别有益的。关于此的一个原因是,耳蜗植入物可提供宽频率范围的刺激(使耳蜗植入侧成为“强”耳),而助听器会被限制为提供受体能够自然听到的任何频率的刺激(这会是更加受限的范围,尤其是在高端处,从而使助听侧成为“弱”耳)。相应地,这种双式受体经常会遭遇到这样的境况,即语音源自右侧(即在大约270°处,在带有助听器的弱侧上)。由于无法感知到发自该侧的语音中所包含的高频率,受体可能无法很好地理解语音,除非他或她转动他或她的头部以使他或她的左(“强”)耳指向扬声器。替代地,用于将在助听器处捕获的音频自动发送成在左耳进行感知的常规CROS操作可被使用来避免头部旋转,但如以上描述的,常规CROS操作会使受体的定位能力严重退化,使得该选项也有问题。
于是,对这种境况最有益的解决方案涉及本文中所描述的用于频率特异性定位及语音理解增强的系统和方法。具体地,CROS操作可将对于语音不可或缺的某些频率(例如,高于交叉频率的频率,所述交叉频率以本文中描述的任何方式被确定)从助听装置发送到耳蜗植入装置。然而,其它频率(例如,对于理解语音并非如此重要的较低的频率)可未被以这种方式传输。替代地,对于这些频率的信号,可实施诸如IABF等的定位增强,以允许受体保持他或她定位声音的能力,即使同时享有由CROS操作提供的增强的语音理解的好处。
为进行说明,图11示出了双式听力系统700的实施方式的示例性实施方式的框图,所述双式听力系统包括在右侧上由助听装置(比如,助听装置200-B)实现的听力装置702-R和在左侧上由耳蜗植入装置(比如,耳蜗植入装置200-A)实现的听力装置702-L。如图所示,每个听力装置702具有对同侧信号(即,由该听力装置内包括的音频输入装置检测到的)和对侧信号(即,借由通信链路704接收的,通信链路在图11中未明示示出)的访问权。
在将音频信号变换为频率信号之前,图11示出的是,实施相应的操作以使对每个同侧信号将要施加的增益耦合。具体地,系统100可在耳蜗植入物与助听装置之间实现双耳增益耦合,双耳增益耦合通过以下两项施加相同的增益来实现:1)助听装置对在助听装置处接收的音频信号(即,对由助听装置接收的同侧信号),和2)耳蜗植入装置对在耳蜗植入装置处接收的音频信号(即,对由耳蜗植入装置接收的同侧信号)。该双耳增益耦合可相对于可服务特定实施方式的任何适合类型的增益处理被使用来保留ILD暗示。例如,对于自动增益控制(“AGC”)处理、噪声消除处理、风声消除处理、回响消除处理、脉冲消除处理或任何其它适合类型的增益处理,双耳增益耦合可被实施。通过耦合由每个听力装置调用的增益,ILD暗示可被保留从而不会因为每个听力装置702处增益独立施加而减弱。通过这样的方式,ILD暗示会被保留,使得它们可通过诸如IABF操作等的定位增强被增强。在一些示例中,增益的差异可被维持或增大,即使是在双耳增益耦合内,从而虑及每耳中听力损失量的不同。
如图所示,在每个听力装置702处通过以下方式来实施增益耦合:接收同侧信号和对侧信号两者,确定这些信号中的每个的相应振幅(“振幅检测器”),比较这些信号中每个的相应幅度以确定在两侧上将要施加的增益(“比较振幅”),以及然后对相应的同侧信号施加所确定的增益(“施加增益”)。通过这种方式,即使每个听力装置独立操作,也应对每侧处的同侧信号施加相同的增益,由此保留信号从一侧到另一侧的级差(即ILD暗示)。
在这些增益耦合操作已被实施之后,图11示出的是,每个听力装置702实施以上描述的操作以实现频率特异性定位及语音理解增强。具体地,每个听力装置702将同侧和对侧的音频信号变换成频率信号(“频率变换”)并对所述频率信号实施空间增强操作。对于助听器(在发出语音的右侧),这些空间增强操作可仅包括IABF操作或其它类似的定位增强操作(“IABF操作”)。然而,对于耳蜗植入物(在与发出语音侧相反的左侧),空间增强操作可包括针对比交叉频率小的频率分量(“f<fc”)的IABF定位增强操作和针对比交叉频率大的频率分量(“f>fc”)的频率分量的CROS操作(“CROS操作”),使得对侧捕获的语音将以更大的音量混入,以促进语音理解。来自同侧和对侧的频率信号然后示出为被混合并逆变换回音频信号,所述音频信号具有已描述的益处。
图12图示出用于频率特异性定位及语音理解增强的示例性方法1200。图12中所示的一项或多项操作可由空间增强系统比如系统100和/或它的任何实施方式实施。尽管图12图示出根据一个实施例的示例性操作,然而其它的实施例可以省略、添加、重新排序和/或修改图12中所示的任何操作。在一些示例中,图12中所示的一些或所有操作可由声处理器(比如,声处理器204中的一种)实施,同时另一声处理器(例如,被包含在同一听力系统中所包括的对侧听力装置中)并行地实施相似的操作。
在操作1202中,与受体所使用的听力装置关联的空间增强系统可接收呈现给受体的音频信号。操作1202可以以本文中描述的任何方式实施。
在操作1204中,空间增强系统可基于音频信号生成第一频率信号和第二频率信号。例如,第一频率信号可包括音频信号的与第一频率范围关联的部分,而第二频率信号可包括音频信号的与第二频率范围关联的部分。第二频率范围可与第一频率范围相异。操作1204可以以本文中描述的任何方式实施。
在操作1206中,空间增强系统可基于在操作1204中生成的第一频率信号和第二频率信号来生成输出频率信号。例如,输出频率信号可与第一和第二频率范围相关联并可配置成用于在刺激受体的听觉感知中由听力装置使用。操作1206可以以本文中描述的任何方式实施。例如,操作1206中输出频率信号的生成可借助子操作1208和1210以及可服务特定实施方式的任何其它的子操作来实施。
在子操作1208中,空间增强系统可处理第一频率信号以施加定位增强。在子操作1210中,空间增强系统可处理第二频率信号以施加语音理解增强。在一些示例中,语音理解增强不同于定位增强。子操作1208和1210可按照任何顺序依序实施或者与彼此和/或与方法1200中所示的其它操作并行实施。
在先前的描述中,已参考附图描述了不同的示例性实施例。然而,显见的是,在不脱离如所附的权利要求书中所阐述的本发明的范围的情况下,可对这些示例性实施例作出各种修改和变化,并且另外的实施例可被实现。例如,本文中所描述的一个实施例的某些特征可以与本文中所描述的另一实施例的特征组合或替代另一实施例的特征。相应地,描述和附图被认为是说明性的而不是限制意义的。
Claims (19)
1.一种用于与听力装置一起使用的空间增强系统,包括:
存储器,所述存储器存储指令;和
处理器,所述处理器与存储器通信耦接并配置为执行指令以:
接收呈现给听力装置的受体的音频信号;
基于音频信号,生成第一频率信号和第二频率信号,第一频率信号包括音频信号的与第一可闻频率范围关联的部分,并且第二频率信号包括音频信号的与第二可闻频率范围关联的部分,第二可闻频率范围与第一可闻频率范围相异;以及
基于第一和第二频率信号,生成输出频率信号,输出频率信号与第一和第二可闻频率范围相关联并配置成用于在刺激受体的听觉感知中由听力装置使用,生成输出频率信号包括:
处理第一频率信号以施加定位增强,以及
处理第二频率信号以施加语音理解增强,所述语音理解增强不同于所述定位增强,其中:
听力装置与受体的第一耳关联,所述第一耳与受体的第二耳对生定位;并且
处理第二频率信号以施加语音理解增强包括:针对第二频率信号,实施信号对侧路由(“CROS”)操作,以在第一耳处同侧放大音频信号的被在第二耳处对侧接收的方面。
2.根据权利要求1所述的空间增强系统,其中,处理第一频率信号以施加定位增强包括:针对第一频率信号,实施耳间波束形成操作,以使第一频率信号按照端射方向极性图案进行空间滤波,所述端射方向极性图案与基于接收的音频信号生成的第一频率信号的极性图案相异。
3.根据权利要求1所述的空间增强系统,其中,处理第一频率信号以施加定位增强包括处理:
已按照端射方向极性图案进行空间滤波的第一版本的第一频率信号,和
尚未进行空间滤波的第二版本的第一频率信号。
4.根据权利要求1所述的空间增强系统,其中:
处理第一频率信号以施加定位增强包括以下中的至少一项:
依照一组定位参数来实施定位增强操作,以及
在依照一组定位参数来实施定位增强操作期间,动态地调整所述一组定位参数中的至少一个定位参数;并且
处理第二频率信号以施加语音理解增强包括以下中的至少一项:
依照一组语音理解参数来实施语音理解增强操作,以及
在依照一组语音理解参数来实施语音理解增强操作期间,动态地调整所述一组语音理解参数中的至少一个语音理解参数。
5.根据权利要求1所述的空间增强系统,其中:
第一可闻频率范围包括低于交叉频率的所有可闻频率;
第二可闻频率范围包括大于交叉频率的所有可闻频率。
6.根据权利要求1所述的空间增强系统,其中:
第一频率信号和第二频率信号被包括在交错频率信号的集合内,所述交错频率信号的集合还包括与第三频率范围关联的第三频率信号和与第四频率范围关联的第四频率信号;
第一可闻频率范围包括低于第一交叉频率的可闻频率;
第二可闻频率范围包括大于第一交叉频率且低于第二交叉频率的可闻频率;
第三频率范围包括大于第二交叉频率且低于第三交叉频率的可闻频率;
第四频率范围包括大于第三交叉频率的可闻频率;并且
生成输出频率信号还包括:
将第三频率信号与第一频率信号一起进行处理,以对第一和第三频率信号施加定位增强,以及
将第四频率信号与第二频率信号一起进行处理,以对第二和第四频率信号施加语音理解增强。
7.根据权利要求1所述的空间增强系统,其中:
所述存储器和处理器由所述听力装置实现;并且
所述听力装置是第一听力装置,第一听力装置被包括在还包括第二听力装置的双耳听力系统中,第二听力装置包括:
第二存储器,第二存储器存储另外的指令,和
第二处理器,第二处理器与所述存储器通信耦接并配置为执行所述另外的指令以实施与由第一听力装置实现的处理器实施的接收音频信号、生成第一和第二频率信号及生成输出频率信号相似的操作。
8.根据权利要求7所述的空间增强系统,其中,所述双耳听力系统是双式听力系统,在所述双式听力系统中:
第一听力装置由第一种听力装置实现,所述第一种听力装置选自耳蜗植入装置、助听装置和混合刺激装置;并且
第二听力装置由第二种听力装置实现,所述第二种听力装置也选自耳蜗植入装置、助听装置和混合刺激装置并且不同于所述第一种听力装置。
9.根据权利要求7所述的空间增强系统,其中,所述双耳听力系统是双耳耳蜗植入系统,在所述双耳耳蜗植入系统中,第一听力装置和第二听力装置各自被实现为耳蜗植入装置,所述耳蜗植入装置包括相应的耳蜗植入物和声处理器。
10.根据权利要求7所述的空间增强系统,其中,所述双耳听力系统是双耳助听系统,在所述双耳助听系统中,第一听力装置和第二听力装置各自被实现为助听装置。
11.根据权利要求7所述的空间增强系统,其中,所述双耳听力系统是双耳混合刺激系统,在所述双耳混合刺激系统中,第一听力装置和第二听力装置各自被实现为混合刺激装置,所述混合刺激装置包括相应的耳蜗植入物和声处理器。
12.根据权利要求7所述的空间增强系统,其中,所述处理器进一步配置为执行指令以在第一和第二听力装置之间实现双耳增益耦合,所述双耳增益耦合通过以下两项施加相同的增益来实现
第一听力装置对在第一听力装置处接收的音频信号,和
第二听力装置对在第二听力装置处接收的音频信号。
13.根据权利要求1所述的空间增强系统,其中:
所述处理器进一步配置为执行指令以基于由受体向与处理器通信耦接的控制界面提供的用户输入来生成代表以下中的至少一项的感知数据:
由受体感知到的可闻度和响度,
受体定位声音的能力,以及
受体理解呈现给受体的语音的能力;并且
处理第一频率信号和处理第二频率信号各自基于所述感知数据来实施。
14.一种双式听力系统,包括:
耳蜗植入装置,所述耳蜗植入装置与双式听力系统的受体的第一耳关联并配置为:
在第一耳处接收呈现给受体的音频信号,
基于在第一耳处接收的音频信号,生成第一低频信号和第一高频信号,第一低频信号包括音频信号的与低频率范围关联的部分,所述低频率范围包括低于交叉频率的可闻频率,并且第一高频信号包括音频信号的与高频率范围关联的部分,所述高频率范围包括大于交叉频率的可闻频率,以及
基于第一低频信号和第一高频信号,生成第一输出频率信号,第一输出频率信号与所述低频率范围和高频率范围相关联并配置成用于在刺激受体的第一耳的听觉感知中由耳蜗植入装置使用,生成第一输出频率信号包括
处理第一低频信号以施加定位增强,以及
处理第一高频信号以施加语音理解增强,所述语音理解增强不同于所述定位增强;和
助听装置,所述助听装置与受体的第二耳关联,所述第二耳与第一耳对生,所述助听装置配置为:
在第二耳处接收呈现给受体的音频信号,
基于在第二耳处接收的音频信号,生成第二低频信号和第二高频信号,第二低频信号包括音频信号的与所述低频率范围关联的部分,并且第二高频信号包括音频信号的与所述高频率范围关联的部分,以及
基于第二低频信号和第二高频信号,生成第二输出频率信号,第二输出频率信号与所述低频率范围和高频率范围相关联并配置成用于在刺激受体的第二耳的听觉感知中由助听装置使用,生成第二输出频率信号包括
处理第二低频信号以施加定位增强,以及
处理第二高频信号以施加语音理解增强。
15.根据权利要求14所述的系统,其中,处理第一和第二低频信号以施加定位增强包括:针对第一和第二低频信号中的每者,实施耳间波束形成操作,以使相应的第一和第二低频信号按照端射方向极性图案进行空间滤波,所述端射方向极性图案与基于接收的音频信号生成的第一和第二低频信号的相应的极性图案相异。
16.根据权利要求14所述的系统,其中,处理第一和第二高频信号以施加语音理解增强包括:针对第一和第二高频信号中的每者,实施信号对侧路由(“CROS”)操作,以在各相应耳处同侧放大音频信号的被在各对生耳处对侧接收的方面。
17.根据权利要求14所述的系统,其中,处理第一频率信号以施加定位增强包括处理:
已按照端射方向极性图案进行空间滤波的第一版本的第一频率信号,和
尚未进行空间滤波的第二版本的第一频率信号。
18.根据权利要求14所述的系统,其中:
处理第一和第二低频信号以施加定位增强包括以下中的至少一项:
依照一组定位参数来实施定位增强操作,以及
在依照一组定位参数来实施定位增强操作期间,动态地调整所述一组定位参数中的至少一个定位参数;并且
处理第一和第二高频信号以施加语音理解增强包括以下中的至少一项:
依照一组语音理解参数来实施语音理解增强操作,以及
在依照一组语音理解参数来实施语音理解增强操作期间,动态地调整所述一组语音理解参数中的至少一个语音理解参数。
19.一种待由与受体所使用的听力装置关联的空间增强系统实现的方法,包括:
接收呈现给受体的音频信号;
基于音频信号,生成第一频率信号和第二频率信号,第一频率信号包括音频信号的与第一可闻频率范围关联的部分,并且第二频率信号包括音频信号的与第二可闻频率范围关联的部分,第二可闻频率范围与第一可闻频率范围相异;以及
基于第一和第二频率信号,生成输出频率信号,输出频率信号与第一和第二可闻频率范围相关联并配置成用于在刺激受体的听觉感知中由听力装置使用,生成输出频率信号包括:
处理第一频率信号以施加定位增强,以及
处理第二频率信号以施加语音理解增强,所述语音理解增强不同于所述定位增强,其中:
听力装置与受体的第一耳关联,所述第一耳与受体的第二耳对生定位;并且
处理第二频率信号以施加语音理解增强包括:针对第二频率信号,实施信号对侧路由(“CROS”)操作,以在第一耳处同侧放大音频信号的被在第二耳处对侧接收的方面。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962819334P | 2019-03-15 | 2019-03-15 | |
US62/819,334 | 2019-03-15 | ||
PCT/US2019/043985 WO2020190317A1 (en) | 2019-03-15 | 2019-07-29 | Systems and methods for frequency-specific localization and speech comprehension enhancement |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113632503A CN113632503A (zh) | 2021-11-09 |
CN113632503B true CN113632503B (zh) | 2024-03-08 |
Family
ID=67551452
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980094082.1A Active CN113632503B (zh) | 2019-03-15 | 2019-07-29 | 用于频率特异性定位及语音理解增强的系统和方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220191627A1 (zh) |
EP (1) | EP3939337A1 (zh) |
CN (1) | CN113632503B (zh) |
WO (1) | WO2020190317A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11545143B2 (en) * | 2021-05-18 | 2023-01-03 | Boris Fridman-Mintz | Recognition or synthesis of human-uttered harmonic sounds |
WO2024020131A1 (en) * | 2022-07-21 | 2024-01-25 | Mayo Foundation For Medical Education And Research | Multi-channel and multi-mode audiometer and method |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009153718A1 (en) * | 2008-06-17 | 2009-12-23 | Koninklijke Philips Electronics N.V. | Earphone arrangement and method of operation therefor |
CN102596309A (zh) * | 2009-09-11 | 2012-07-18 | Med-El电气医疗器械有限公司 | 低脉冲频率耳蜗植入物刺激协同基频的单独表示和浊音/清音区别 |
CN102771144A (zh) * | 2010-02-19 | 2012-11-07 | 西门子医疗器械公司 | 用于方向相关空间噪声减低的设备和方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9973865B2 (en) * | 2012-08-07 | 2018-05-15 | Cochlear Limited | Hearing percept parameter adjustment strategy for a hearing prosthesis |
US9802044B2 (en) * | 2013-06-06 | 2017-10-31 | Advanced Bionics Ag | System and method for neural hearing stimulation |
US9843873B2 (en) * | 2014-05-20 | 2017-12-12 | Oticon A/S | Hearing device |
WO2016004970A1 (en) * | 2014-07-07 | 2016-01-14 | Advanced Bionics Ag | System for combined neural and acoustic hearing stimulation |
-
2019
- 2019-07-29 CN CN201980094082.1A patent/CN113632503B/zh active Active
- 2019-07-29 EP EP19750233.9A patent/EP3939337A1/en active Pending
- 2019-07-29 WO PCT/US2019/043985 patent/WO2020190317A1/en active Application Filing
- 2019-07-29 US US17/438,298 patent/US20220191627A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009153718A1 (en) * | 2008-06-17 | 2009-12-23 | Koninklijke Philips Electronics N.V. | Earphone arrangement and method of operation therefor |
CN102596309A (zh) * | 2009-09-11 | 2012-07-18 | Med-El电气医疗器械有限公司 | 低脉冲频率耳蜗植入物刺激协同基频的单独表示和浊音/清音区别 |
CN102771144A (zh) * | 2010-02-19 | 2012-11-07 | 西门子医疗器械公司 | 用于方向相关空间噪声减低的设备和方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2020190317A1 (en) | 2020-09-24 |
US20220191627A1 (en) | 2022-06-16 |
CN113632503A (zh) | 2021-11-09 |
EP3939337A1 (en) | 2022-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10469961B2 (en) | Binaural hearing systems and methods for preserving an interaural level difference between signals generated for each ear of a user | |
van Hoesel et al. | Speech perception, localization, and lateralization with bilateral cochlear implants | |
US9511225B2 (en) | Hearing system comprising an auditory prosthesis device and a hearing aid | |
AU2014309167B2 (en) | Auditory prosthesis using stimulation rate as a multiple of periodicity of sensed sound | |
US9844671B2 (en) | Cochlear implant and an operating method thereof | |
US10469962B2 (en) | Systems and methods for facilitating interaural level difference perception by enhancing the interaural level difference | |
CN113632503B (zh) | 用于频率特异性定位及语音理解增强的系统和方法 | |
US20110098786A1 (en) | Remote Audio Processor Module for Auditory Prosthesis Systems | |
CN110520188B (zh) | 双模式听觉刺激系统 | |
US10306376B2 (en) | Binaural cochlear implant processing | |
EP3003464B1 (en) | System for neural hearing stimulation | |
CN110831658A (zh) | 具有带宽归一化的内侧橄榄耳蜗反射声编码 | |
CN109890338A (zh) | 耳蜗植入物的双侧同步通道选择 | |
AU2015364648B2 (en) | Bilateral matching of frequencies and delays for hearing implant stimulation | |
EP3928828B1 (en) | Harmonic allocation of cochlea implant frequencies | |
Kokkinakis et al. | Application of blind signal processing strategies to noise reduction for the hearing-impaired |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |