CN112911477A - 包括个人化波束形成器的听力系统 - Google Patents
包括个人化波束形成器的听力系统 Download PDFInfo
- Publication number
- CN112911477A CN112911477A CN202011401955.XA CN202011401955A CN112911477A CN 112911477 A CN112911477 A CN 112911477A CN 202011401955 A CN202011401955 A CN 202011401955A CN 112911477 A CN112911477 A CN 112911477A
- Authority
- CN
- China
- Prior art keywords
- user
- transfer function
- relative
- self
- microphone
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000006870 function Effects 0.000 claims abstract description 223
- 238000012546 transfer Methods 0.000 claims abstract description 210
- 230000004044 response Effects 0.000 claims abstract description 79
- 238000012360 testing method Methods 0.000 claims description 76
- 238000000034 method Methods 0.000 claims description 66
- 239000013598 vector Substances 0.000 claims description 47
- 230000003595 spectral effect Effects 0.000 claims description 24
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 210000005069 ears Anatomy 0.000 claims description 10
- 230000001131 transforming effect Effects 0.000 claims description 3
- 210000003128 head Anatomy 0.000 description 77
- 238000012545 processing Methods 0.000 description 26
- 230000005236 sound signal Effects 0.000 description 26
- 238000005259 measurement Methods 0.000 description 20
- 210000000613 ear canal Anatomy 0.000 description 13
- 238000004422 calculation algorithm Methods 0.000 description 12
- 230000001419 dependent effect Effects 0.000 description 12
- 230000000694 effects Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 238000013507 mapping Methods 0.000 description 9
- 230000006835 compression Effects 0.000 description 8
- 238000007906 compression Methods 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 7
- 230000033001 locomotion Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- RXKGHZCQFXXWFQ-UHFFFAOYSA-N 4-ho-mipt Chemical compound C1=CC(O)=C2C(CCN(C)C(C)C)=CNC2=C1 RXKGHZCQFXXWFQ-UHFFFAOYSA-N 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 230000003321 amplification Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 210000000988 bone and bone Anatomy 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 208000016354 hearing loss disease Diseases 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000003199 nucleic acid amplification method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 210000003625 skull Anatomy 0.000 description 4
- 238000013179 statistical model Methods 0.000 description 4
- BTJPUDCSZVCXFQ-UHFFFAOYSA-N 2,4-diethylthioxanthen-9-one Chemical compound C1=CC=C2C(=O)C3=CC(CC)=CC(CC)=C3SC2=C1 BTJPUDCSZVCXFQ-UHFFFAOYSA-N 0.000 description 3
- 208000032041 Hearing impaired Diseases 0.000 description 3
- 210000003477 cochlea Anatomy 0.000 description 3
- 210000000860 cochlear nerve Anatomy 0.000 description 3
- 210000000959 ear middle Anatomy 0.000 description 3
- 239000000758 substrate Substances 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 210000003454 tympanic membrane Anatomy 0.000 description 3
- 238000010200 validation analysis Methods 0.000 description 3
- 108020004414 DNA Proteins 0.000 description 2
- 239000004020 conductor Substances 0.000 description 2
- 210000000883 ear external Anatomy 0.000 description 2
- 210000003027 ear inner Anatomy 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000013315 hypercross-linked polymer Substances 0.000 description 2
- 239000007943 implant Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 102000053602 DNA Human genes 0.000 description 1
- 206010011878 Deafness Diseases 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 210000003926 auditory cortex Anatomy 0.000 description 1
- 238000005311 autocorrelation function Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000000133 brain stem Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001055 chewing effect Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000021615 conjugation Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000002768 hair cell Anatomy 0.000 description 1
- 230000010370 hearing loss Effects 0.000 description 1
- 231100000888 hearing loss Toxicity 0.000 description 1
- 230000001976 improved effect Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 229910001416 lithium ion Inorganic materials 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 210000001259 mesencephalon Anatomy 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000005477 standard model Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 239000003826 tablet Substances 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/40—Arrangements for obtaining a desired directivity characteristic
- H04R25/407—Circuits for combining signals of a plurality of transducers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/40—Arrangements for obtaining a desired directivity characteristic
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/60—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for measuring the quality of voice signals
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
- G10L25/84—Detection of presence or absence of voice signals for discriminating voice from noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
- H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/40—Arrangements for obtaining a desired directivity characteristic
- H04R25/405—Arrangements for obtaining a desired directivity characteristic by combining a plurality of transducers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
- H04R25/505—Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
- H04R25/507—Customised settings for obtaining desired overall acoustical characteristics using digital signal processing implemented by neural network or fuzzy logic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/70—Adaptation of deaf aid to hearing loss, e.g. initial electronic fitting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
- H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
- H04R2225/43—Signal processing in hearing aids to enhance the speech intelligibility
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
- H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Neurosurgery (AREA)
- Computational Linguistics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Fuzzy Systems (AREA)
- Quality & Reliability (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
本申请公开了包括个人化波束形成器的听力系统,所述听力系统包括:存储器,其中的数据库(Ol,Hl)包括相对或绝对自我话音传递函数或脉冲响应及相对或绝对头部相关声学传递函数或脉冲响应;处理器,配置成根据至少两个电输入信号以及自我话音控制信号估计从用户嘴巴到所述至少两个传声器中的至少一个的声音的自我话音相对传递函数,及根据估计的自我话音相对传递函数和数据库(Ol,Hl)估计从不同于用户嘴巴的至少一空间位置到用户佩戴的听力系统的至少一传声器的个人化相对或绝对头部相关声学传递函数或脉冲响应;波束形成器,配置成接收至少两个电输入信号并基于个人化相对或绝对头部相关声学传递函数或脉冲响应确定个人化波束形成器权重。
Description
技术领域
本申请涉及听力装置如助听器领域。
背景技术
助听器中的空间降噪系统(波束形成器)通常通过组合几个传声器捕获的声音信号起作用,以增强来自某些方向的信号并衰减来自其它方向的声音。波束形成器系数通常在产品发布之前在制造商处的录音室中的头和躯干模拟器(例如来自Brüel&Sound&Vibration Measurement A/S的HATS 4128C)上的先验声学测量结果得出。所得的波束形成器系数之后被“硬连线”(例如存储或实施)在助听器中。结果,每一助听器用户暴露于同样的从HATS得出的波束形成器系数。
然而,已知从HATS得出的波束形成器对于每一人并非必然最佳(例如参见[Moore;2019])。这至少部分是因为个体的头(和躯干)声学可能不同于HATS的声学及取决于安装的仪器怎样位于不同的个体上。理想地,特定用户使用的波束形成器应经该人的头和躯干声学得出。然而,这将需要对每一助听器客户进行声学测量。更具体地,优选应进行个体头部相关传递函数(HRTF)即从例如以用户头部为中心的水平面中的一个或多个(同心)圆(具有高于0.5m的半径)上的点到助听器系统的每一传声器的声学传递函数的测量。从而听力系统的传声器相对于从这些点发出的声音将位于声学远场中。前述测量一般需要高端音频设备,及理想地,使用录音室。然而,在典型的听觉护理专家(HCP)临床中进行这样的测量不可行。
发明内容
本发明的目的在于提供个人化头部相关传递函数,其(近似地)反映(与典型的标准(对称)模型(如HATS)有偏差的)用户头部和躯干的非对称性。前述偏差例如可源自头上的耳朵的大小、形状和位置以及头和躯干的尺寸和形状。
本申请提出可取得关于助听器用户的HRTF的信息的方法,其不需要使用先进的音频设备,但其可在HCP临床进行甚至在助听器系统的日常使用期间进行,例如在助听器用户的家中进行。从该信息可构建个人化波束形成器,相较于从HATS(标准模型)测量结果得出的传统波束形成器,其对于每一个体助听器用户的表现更好。
一方面,本申请提出用于从关于个人自我话音传递函数的信息估计特定用户的个人化波束形成器系数的离线程序。该离线程序包括:
A.使用位于用户嘴巴处的近讲传声器测量自我话音传递函数;
B.将测得的自我话音传递函数映射到一组绝对或相对头部相关传递函数;
C.从该组头部相关传递函数计算个人化波束形成器系数。
另一方面,本申请提出用于从关于个人自我话音传递函数的信息估计特定用户的个人化波束形成器系数的在线程序。该在线程序包括:
A.使用自我话音检测器和安装在用户耳朵处的听力装置的传声器估计相对自我话音传递函数;
B.将自我话音传递函数映射到一组绝对或相对头部相关传递函数;
C.从该组头部相关传递函数计算个人化波束形成器系数。
听力系统
总的想法是进行个体用户的声学嘴到传声器传递函数(自我话音传递函数(OVT))的测量,然后将这些个人OVT映射到个人HRTF,从个人HRTF可得出个人化波束形成器系数。在HCP进行HRTF测量通常不可行的同时,在HCP进行OVT测量是可行的,因为这并不需要先进的音频设备。具体地,例如可在HCP使用靠近助听器用户嘴巴放置的单一传声器(在此称为“近讲传声器”)测量绝对或相对OVT(在下面定义),助听器用户在测量期间佩戴助听器(例如参见图1A或图2)。
此外,我们提出估计相对OVT的方法,其仅使用助听器的传声器,不需要另外的传声器。相对OVT在助听器使用期间在用户讲话时进行估计(例如参见图1B)(更多细节参见具体实施方式)。在相对OVT提供的信息少于绝对OVT的同时,其很大的优点在于可在听力系统的日常使用期间进行估计。因此,使用相对传递函数使能可跟踪相对OVT例如因HA位置变化(例如在安装在用户头上时)引起的变化的方案。
给定个人的绝对或相对OVT估计量,下面概述的任何方法可用于估计个人HRTF/波束形成器系数,其对于个体助听器用户接近最佳。
在本说明书中,特定用户的头部相关传递函数意为从用户附近的给定位置到位于用户耳朵处或耳朵中的传声器的传递函数,其中假定用户(因而传声器)相对于来自给定位置的声音位于声学远场中。另一方面,特定用户的自我话音传递函数意为从用户嘴巴到位于用户耳朵处或耳朵中的传声器的传递函数,其中假定该传声器相对于来自用户嘴巴的声音位于声学近场中。声学远场与声学近场之间的差异在下面讨论。
在本申请的一方面,提供配置成位于用户头部处或头部中(例如耳朵处或耳朵中,例如耳朵处的头部中)的听力系统。该听力系统包括:
-至少两个传声器,其中之一记为参考传声器,每一传声器用于将来自听力系统环境的声音转换为表示所涉及传声器位置处接收的声音的电输入信号;
-自我话音检测器,配置成估计至少两个电输入信号或其处理后版本是否或者以何种概率包括来自听力系统用户的话音,及提供标示该估计的自我话音控制信号;
-存储器,其中存储有多个测试人员的绝对或相对声学传递函数或脉冲响应或者其任何变换形式的数据库(Ol,Hl),或者使能访问所述数据库(Ol,Hl)的收发器。对于所述多个测试人员中的每一测试人员,所述数据库(Ol,Hl)包括
--从所述多个测试人员中的给定测试人员的嘴巴到所述给定测试人员佩戴的传声器系统的至少一传声器的声音的相对或绝对自我话音传递函数或脉冲响应或者其任何变换形式;及
--从不同于给定测试人员嘴巴的至少一空间位置到所述给定测试人员佩戴的传声器系统的至少一传声器的相对或绝对头部相关声学传递函数或脉冲响应。
听力系统还可包括连接到或者可连接到所述至少两个传声器、所述自我话音检测器和所述数据库的处理器。该处理器可配置成
-根据所述至少两个电输入信号或其处理后版本以及所述自我话音控制信号估计从用户嘴巴到所述至少两个传声器中的至少一个的声音的自我话音相对传递函数;及
-根据估计的自我话音相对传递函数和所述数据库(Ol,Hl)估计从不同于用户嘴巴的至少一空间位置到用户佩戴的听力系统的至少一传声器的个人化相对或绝对头部相关声学传递函数或脉冲响应。
听力系统还可包括波束形成器,配置成接收所述至少两个电输入信号或其处理后版本并基于个人化相对或绝对头部相关声学传递函数或脉冲响应确定个人化波束形成器权重。估计的个人化相对或绝对头部相关声学传递函数可由不同于波束形成器的算法使用,例如压缩算法(例如用于确保方向线索被适当保留)。一般意义上,估计的个人化相对或绝对头部相关声学传递函数可由助听器的信号处理器使用以改善输入信号的处理(例如改善听力受损用户的声音感觉(例如空间声音感知和/或语音可懂度))。
从而可提供改进的听力系统。
声音的脉冲响应和传递函数可表示从一位置到另一位置的声音的同样的物理变化,其由两个位置之间的声学传播通道确定,脉冲响应为物理变化的时域表示,传递函数为物理变化的频域表示。其中一个(原理上)可通过傅里叶变换或逆傅里叶变换从另一个获得。不同于傅里叶变换的其它变换(如余弦或正弦变换、拉普拉斯(Laplace)变换等)可用于提供声学传播通道的影响的表示。
数据库可以也可不包括对用户测得的数据。这样的关于用户的数据例如可包括来自先前验配的旧数据。
波束形成器可以是MVDR波束形成器。波束成形信号可基于从个人化相对或绝对头部相关声学传递函数或脉冲响应得出的个人化波束形成器权重提供。
波束形成器权重可根据自我话音控制信号确定。波束形成器权重可根据来自(一般的)话音活动检测器的话音活动控制信号确定。
听力系统可配置成根据预定方案使用公开的程序确定或更新个人化波束形成器权重,例如在满足特定判据时。预定方案例如可包括由特定事件触发开始更新,例如听力装置加电。预定方案例如可包括连续更新,例如由定时器触发,例如使得根据预定(或自适应确定)的方案进行更新或者以有规律的间隔进行更新,如每10s,或每小时,或每1s到每小时之间。听力系统可包括使用户能使用公开的程序开始(或定义)个人化波束形成器权重的更新(或选择更新方案)的用户接口。
听力系统可包括处理器,其连接到波束形成器并配置成接收波束成形信号或其处理后版本及将一个或多个处理算法应用于波束成形信号以提供处理后的信号。
听力系统可包括输出单元,用于基于至少两个电输入信号或其处理后版本产生可由用户感知为声音的刺激。输出单元可包括扬声器。
听力系统(除自我话音检测器之外)还可包括检测器或估计器,用于确认自我话音相对传递函数的估计量。听力系统可包括根据至少两个电输入信号或其处理后版本检测或估计当前信号质量的检测器或估计器。听力系统可包括噪声估计器,例如用于提供(如在估计自我话音传递函数期间的)当前噪声电平的估计量。听力系统例如可包括用于提供信噪比(或等同量)的估计量的SNR估计器。听力系统可配置成在满足涉及不同于自我话音检测器的其它检测器或估计器的判据时仅接受自我话音相对传递函数的估计量。前述判据例如可以是,自我话音以大于最小OV值的概率检测到,及SNR估计大于最小SNR值,和/或噪声电平小于或等于阈电平。
优选地,由多个测试人员佩戴的传声器系统包括与听力系统的至少两个传声器实质上位于同样位置的传声器。由多个测试人员佩戴的传声器系统例如可体现在与用户佩戴的听力系统相同或等同的听力系统中。多个测试人员佩戴的传声器系统在测试人员之间均一样。传声器系统的传声器相对于佩戴者(测试人员)的耳朵的相应位置优选实质上等于听力系统在位于用户上时其至少两个传声器的位置。传声器系统的传声器的方向特性优选实质上等于听力系统的至少两个传声器。传声器系统的传声器和听力系统的至少两个传声器均可为全向传声器。
处理器可包括相对自我话音传递函数估计器,用于估计相对自我话音传递函数向量OVTk,user,其元素为声音从用户嘴巴到听力系统的至少两个传声器中的每一个的相对传递函数。对于双传声器系统,相对自我话音传递函数向量OVTk,user将具有两个元素,其中之一将为1,对应于参考传声器。
听力系统可包括自我话音功率谱密度估计器,配置成提供给定时间点的自我话音功率谱密度向量Sk的估计量。自我话音功率谱密度向量Sk可用作相对自我话音传递函数估计器的输入。给定时间点的自我话音功率谱密度向量Sk可在自我话音控制信号表明(以高概率,如≥75%)存在用户自我话音时确定。
听力系统可包括个人化头部相关传递函数估计器,用于从估计的自我话音传递函数向量OVTk,user和所述数据库(Ol,Hl)估计个人化相对或绝对头部相关声学传递函数dk,user或脉冲响应。个人化头部相关传递函数例如可配置成选择与人l*对应的相对或绝对头部相关声学传递函数数据库(Ol,Hl),对于该人,估计的自我话音传递函数向量OVTk,user与所述数据库的自我话音传递函数向量OVTk,l*之间的距离(如差)最小。
相对自我话音传递函数向量OVTk,user例如可从输入的自我话音功率谱密度向量Sk估计为OVTk,user=sqrt(Sk/Sk,iref),其中iref指至少两个传声器中的参考传声器。从而提供简化的相对OVT向量(仅包含关于电平衰减的信息,而忽略相位信息(时延))。这可能是较好的逼近,因为,一般地,信号从用户嘴巴到位于用户耳朵处的听力装置的不同传声器的时延差主要由传声器距离(该距离假定在用户之间实质上相同)确定。另一方面,电平差可取决于个体用户的头部的特性。在包括左和右助听器的双耳助听器系统的情形下,(由于两个助听器中独立的压缩算法)助听器可改变(破坏)两只耳朵处的物理耳间电平差。
听力系统可包括经训练的神经网络,用于将估计的相对自我话音传递函数向量OVTk,user用作输入向量而确定个人化头部相关传递函数,其中经训练的神经网络已使用数据库(Ol,Hl)进行训练。基于先验数据库,神经网络(如深度神经网络)可在用在听力系统中之前在离线程序训练,分别将Ol和Hl用作目标输出。作为备选,个人化头部相关传递函数可通过其它统计方法/模型确定,包括有监督的学习、机器学习、人工智能等。
听力系统可由听力装置如助听器构成或者可包括听力装置如助听器。听力系统可由助听器、头戴式耳机、耳麦、耳朵保护装置或其组合构成或者包括助听器、头戴式耳机、耳麦、耳朵保护装置或其组合。听力装置如助听器可包括至少两个传声器。传声器之一可位于用户耳道处或耳道中。传声器之一可位于用户耳朵(耳廓)处或后面。听力装置可包括三个传声器,其中之一可位于用户耳道处或耳道中。
听力系统可由双耳听力系统构成或者可包括双耳听力系统,例如包括配置成分别位于用户的左和右耳处的左和右听力装置的双耳助听器系统。
听力系统可包括听力装置和辅助装置。听力系统可适于在听力装置与辅助装置之间建立通信链路以使得信息(如控制和状态信号,可能音频信号)可进行交换或者从一装置转发给另一装置。辅助装置可包括遥控器、智能电话、或者其它便携或可穿戴电子设备如智能手表等。辅助装置可由遥控器构成或者可包括遥控器,其用于控制听力装置的功能和运行。遥控器的功能实施在智能电话中,智能电话可能运行使能经智能电话控制音频处理装置的功能的APP(听力装置包括适当的到智能电话的无线接口,例如基于蓝牙或一些其它标准化或专有方案)。辅助装置可以是或包括音频网关设备,其适于(例如从娱乐装置如TV或音乐播放器、从电话设备如移动电话或者从计算机如PC)接收多个音频信号并适于选择和/或组合所接收的音频信号中的适当信号(或信号组合)以传给听力装置。辅助装置可由另一听力装置构成或者可包括另一听力装置。
听力系统可包括适于位于用户耳朵处或耳朵中的听力装置。至少两个传声器可位于听力装置中。至少两个传声器中的至少一个可位于用户左耳处。至少两个传声器中的至少一个可位于用户右耳处。听力系统可包括第一和第二听力装置,其适于位于用户的左和右耳处或者左和右耳中和/或适于完全或部分植入在用户头部中。至少两个传声器可位于第一和第二听力装置中。
用在听力系统中的听力装置
听力装置可适于提供随频率而变的增益和/或随电平而变的压缩和/或一个或多个频率范围到一个或多个其它频率范围的移频(具有或没有频率压缩)以补偿用户的听力受损。听力装置可包括信号处理器,用于增强输入信号并提供处理后的输出信号。
听力装置可包括输出单元,用于基于处理后的电信号提供由用户感知为声信号的刺激。输出单元可包括耳蜗植入件(用于CI型听力装置)的多个电极或者骨导听力装置的振动器。输出单元可包括输出变换器。输出变换器可包括用于将刺激作为声信号提供给用户的接收器(扬声器)(例如在声学(基于空气传导的)听力装置中)。输出变换器可包括用于将刺激作为颅骨的机械振动提供给用户的振动器(例如在附着到骨头的或骨锚式听力装置中)。
听力装置可包括用于提供表示声音的电输入信号的输入单元。输入单元可包括用于将输入声音转换为电输入信号的输入变换器如传声器。输入单元可包括用于接收包括或表示声音的无线信号并提供表示所述声音的电输入信号的无线接收器。无线接收器例如可配置成接收在射频范围(3kHz到300GHz)的电磁信号。无线接收器例如可配置成接收在光频率范围(例如红外光300GHz到430THz,或可见光,例如430THz到770THz)的电磁信号。
听力装置可包括定向传声器系统,其适于对来自环境的声音进行空间滤波从而增强佩戴听力装置的用户的局部环境中的多个声源之中的目标声源。定向系统适于检测(如自适应检测)传声器信号的特定部分源自哪一方向。这可以例如现有技术中描述的多种不同方式实现。在听力装置中,传声器阵列波束形成器通常用于空间上衰减背景噪声源。许多波束形成器变型可在文献中找到。最小方差无失真响应(MVDR)波束形成器广泛用在传声器阵列信号处理中。理想地,MVDR波束形成器保持来自目标方向(也称为视向)的信号不变,而最大程度地衰减来自其它方向的声音信号。广义旁瓣抵消器(GSC)结构是MVDR波束形成器的等同表示,其相较原始形式的直接实施提供计算和数字表示优点。
听力装置可以是便携(即配置成可穿戴)装置或形成其一部分,如包括本机能源如电池例如可再充电电池的装置。听力装置可以是轻质、容易穿戴的装置,例如具有小于100g的总重量,例如小于20g。
听力装置可包括输入单元(如输入变换器,例如传声器或传声器系统和/或直接电输入(如无线接收器))和输出单元如输出变换器之间的正向或信号通路。信号处理器位于该正向通路中。信号处理器适于根据用户的特定需要提供随频率而变的增益。听力装置可包括具有用于分析输入信号(如确定电平、调制、信号类型、声反馈估计量等)的功能件的分析通路。分析通路和/或信号通路的部分或所有信号处理可在频域进行。分析通路和/或信号通路的部分或所有信号处理可在时域进行。
表示声信号的模拟电信号可在模数(AD)转换过程中转换为数字音频信号,其中模拟信号以预定采样频率或采样速率fs进行采样,fs例如在从8kHz到48kHz的范围中(适应应用的特定需要)以在离散的时间点tn(或n)提供数字样本xn(或x[n]),每一音频样本通过预定的Nb比特表示声信号在tn时的值,Nb例如在从1到48比特的范围中如24比特。每一音频样本因此使用Nb比特量化(导致音频样本的2Nb个不同的可能的值)。数字样本x具有1/fs的时间长度,如50μs,对于fs=20kHz。多个音频样本可按时间帧安排。一时间帧可包括64个或128个音频数据样本。根据实际应用可使用其它帧长度。
听力装置可包括模数(AD)转换器以按预定的采样速率如20kHz对模拟输入(例如来自输入变换器如传声器)进行数字化。听力装置包括数模(DA)转换器以将数字信号转换为模拟输出信号,例如用于经输出变换器呈现给用户。
听力装置如输入单元和/或天线及收发器电路包括用于提供输入信号的时频表示的TF转换单元。时频表示可包括所涉及信号在特定时间和频率范围的相应复值或实值的阵列或映射。TF转换单元可包括用于对(时变)输入信号进行滤波并提供多个(时变)输出信号的滤波器组,每一输出信号包括截然不同的输入信号频率范围。TF转换单元可包括用于将时变输入信号转换为(时-)频域中的(时变)信号的傅里叶变换单元。听力装置考虑的、从最小频率fmin到最大频率fmax的频率范围可包括从20Hz到20kHz的典型人听频范围的一部分,例如从20Hz到12kHz的范围的一部分。通常,采样率fs大于或等于最大频率fmax的两倍,即fs≥2fmax。听力装置的正向通路和/或分析通路的信号可拆分为NI个(例如均匀宽度的)频带,其中NI例如大于5,如大于10,如大于50,如大于100,如大于500,至少其部分个别进行处理。听力装置适于在NP个不同频道处理正向和/或分析通路的信号(NP≤NI)。频道可以宽度一致或不一致(如宽度随频率增加)、重叠或不重叠。
听力装置可配置成在不同模式下运行,如正常模式及一个或多个特定模式,例如可由用户选择或者可自动选择。运行模式可针对特定声学情形或环境进行优化。运行模式可包括低功率模式,其中听力装置的功能被减少(例如以便节能),例如禁用无线通信和/或禁用听力装置的特定特征。
听力装置可包括多个检测器,其配置成提供与听力装置的当前网络环境(如当前声环境)有关、和/或与佩戴听力装置的用户的当前状态有关、和/或与听力装置的当前状态或运行模式有关的状态信号。作为备选或另外,一个或多个检测器可形成与听力装置(如无线)通信的外部装置的一部分。外部装置例如可包括另一听力装置、遥控器、音频传输装置、电话(如智能电话)、外部传感器等。
多个检测器中的一个或多个可对全带信号起作用(时域)。多个检测器中的一个或多个可对频带拆分的信号起作用((时-)频域),例如在有限的多个频带中。
多个检测器可包括用于估计正向通路的信号的当前电平的电平检测器。检测器可配置成确定正向通路的信号的当前电平是否高于或低于给定(L-)阈值。电平检测器作用于全频带信号(时域)。电平检测器作用于频带拆分信号((时-)频域)。
听力装置可包括话音活动检测器(VAD),用于估计输入信号(在特定时间点)是否(或者以何种概率)包括话音信号。在本说明书中,话音信号包括来自人类的语音信号。其还可包括由人类语音系统产生的其它形式的发声(如唱歌)。话音活动检测器单元适于将用户当前的声环境分类为“话音”或“无话音”环境。这具有下述优点:包括用户环境中的人发声(如语音)的电传声器信号的时间段可被识别,因而与仅(或主要)包括其它声源(如人工产生的噪声)的时间段分离。话音活动检测器可适于将用户自己的话音也检测为“话音”。作为备选,话音活动检测器可适于从“话音”的检测排除用户自己的话音。
听力装置可包括自我话音检测器,用于估计特定输入声音(如话音,如语音)是否(或以何种概率)源自听力系统用户的话音。听力装置的传声器系统可适于能够进行用户自己的话音与另一人的话音及可能与无话音声音的区分。
多个检测器可包括运动检测器,例如加速度传感器。运动检测器可配置成检测用户面部肌肉和/或骨头的例如因语音或咀嚼(如颌部运动)引起的运动并提供标示该运动的检测器信号。
听力装置可包括分类单元,配置成基于来自(至少部分)检测器的输入信号及可能其它输入对当前情形进行分类。在本说明书中,“当前情形”由下面的一个或多个定义:
a)物理环境(如包括当前电磁环境,例如出现计划或未计划由听力装置接收的电磁信号(包括音频和/或控制信号),或者当前环境不同于声学的其它性质);
b)当前声学情形(输入电平、反馈等);
c)用户的当前模式或状态(运动、温度、认知负荷等);
d)听力装置和/或与听力装置通信的另一装置的当前模式或状态(所选程序、自上次用户交互之后消逝的时间等)。
分类单元可基于或者包括神经网络例如经训练的神经网络。
听力装置还可包括用于所涉及应用的其它适宜功能,如压缩、降噪、反馈控制等。
听力装置可包括听音装置如助听器、听力仪器例如适于位于用户耳朵处或者完全或部分位于耳道中的听力仪器,例如头戴式耳机、耳麦、耳朵保护装置或其组合。助听系统可包括喇叭扩音器(包含多个输入变换器和多个输出变换器,例如用在音频会议情形),例如包括波束形成器滤波单元,例如提供多个波束形成能力。
应用
一方面,提供如上所述的、“具体实施方式”部分中详细描述的和权利要求中限定的听力装置的应用。可提供在包括音频分布的系统中的应用。可提供在包括一个或多个助听器(如听力仪器)的系统、头戴式耳机、耳麦、主动耳朵保护系统等中的应用,例如在免提电话系统、远程会议系统(例如包括喇叭扩音器)、广播系统、卡拉OK系统、教室放大系统等中的用途。
方法
一方面,提供用于听力系统的个人化波束形成器权重的估计方法,听力系统包括多个传声器,其中之一记为参考传声器。听力系统可配置成由特定用户佩戴。所述方法包括:
-提供表示用户环境中、听力系统的传声器位置处的声音的至少两个电输入信号,来自参考传声器的电输入信号记为参考传声器信号;
-提供标示至少两个电输入信号或其处理后版本是否或者以何种概率包括来自听力系统用户的话音的自我话音控制信号;
-提供不同于用户的多个测试人员的绝对或相对声学传递函数或脉冲响应或者其任何变换形式的数据库(Ol,Hl),或者提供对所述数据库(Ol,Hl)的访问,对于所述多个测试人员中的每一测试人员,
--在所述数据库(Ol,Hl)中提供声音从所述多个测试人员中的给定测试人员的嘴巴到所述给定测试人员佩戴的传声器系统的多个传声器中的至少一个的相对或绝对自我话音传递函数或脉冲响应或者其任何变换形式;及
--在所述数据库(Ol,Hl)中提供从不同于给定测试人员嘴巴的至少一空间位置到所述给定测试人员佩戴的传声器系统的至少一传声器的相对或绝对头部相关声学传递函数或脉冲响应;
-(例如在听力系统如听力装置例如助听器中)根据所述至少两个电输入信号或其处理后版本以及所述自我话音控制信号估计从用户嘴巴到听力系统的所述至少两个传声器中的至少一个的声音的自我话音相对传递函数。
所述方法还可包括:
-根据估计的自我话音相对传递函数和所述数据库(Ol,Hl)估计从不同于用户嘴巴的至少一空间位置到用户佩戴的听力系统的至少一传声器的个人化相对或绝对头部相关声学传递函数或脉冲响应;及
-基于个人化相对或绝对头部相关声学传递函数(HRTFl*)或脉冲响应(HRIRl*)或者其任何变化形式确定波束形成器的个人化波束形成器权重(wk,user),所述波束形成器配置成接收所述至少两个电输入信号或其处理后版本。
一般意义上,估计的个人化相对或绝对头部相关声学传递函数可由助听器的信号处理器使用以改善输入信号的处理(例如改善听力受损用户的声音感觉(例如空间声音感知和/或语音可懂度)),例如代替确定波束形成器的个人化波束形成器权重(wk,user)的步骤。
当由对应的过程适当代替时,上面描述的、“具体实施方式”中详细描述的或权利要求中限定的装置的部分或所有结构特征可与本发明方法的实施结合,反之亦然。方法的实施具有与对应装置一样的优点。
使用听力系统的用于拾取用户发声的传声器测量绝对或相对自我话音传递函数(OVTuser)或脉冲响应的步骤包括使用位于用户嘴巴处的近讲传声器。从而可测量绝对话音传递函数(OVTuser)或脉冲响应。作为备选,该步骤可包括仅使用听力系统的传声器,藉此可通过听力系统确定相对自我话音传递函数(OVTuser)。可确定从测试人员(l)或用户的嘴巴到多个传声器中的至少一个例如一个或多个如全部的自我话音传递函数或脉冲响应。同样,可确定从特定位置的声源(远离用户嘴巴,相对于测试人员(l)处于声学远场中)到多个传声器中的至少一个例如一个或多个如全部的远场头部相关传递函数或脉冲响应。此外,可确定从多个位置处的声源(远离用户嘴巴,相对于测试人员(l)处于声学远场中)到多个传声器中的至少一个例如一个或多个如全部的远场头部相关传递函数或脉冲响应。
确定个人化波束形成器权重(wk,user)的定时可随自我话音控制信号而变。
本发明方法可配置成确定听力系统如听力系统的听力装置例如助听器的波束形成器(如双耳听力系统的双耳波束形成器)的个人化波束形成器系数(wk,user)。波束形成器可配置成将所述波束形成器权重应用于来自多个传声器的电输入信号,从而提供波束成形信号。
本发明方法可包括,波束形成器为双耳波束形成器,其基于来自位于用户的左耳和右耳处的至少两个传声器的电输入信号。该波束形成器可基于来自位于用户左耳或右耳处的至少两个传声器的电输入信号。
本发明方法可包括:
-根据预定判据将相对自我话音传递函数(OVTuser)或脉冲响应映射到来自所述数据库(Ol,Hl)的、所述多个测试人员之中的特定测试人员的绝对或相对自我话音传递函数(OVTl*)或脉冲响应;及
-根据所述数据库(Ol,Hl)中存储的所述特定测试人员的绝对或相对远场头部相关传递函数(HRTFl*)得出所述用户的估计的绝对或相对远场头部相关传递函数(HRTFuser)。
本发明方法可适于使得预定判据包括价值函数如距离度量的最小化。
本发明方法可包括基于个人化波束形成器权重提供波束成形信号的步骤。
个人化相对或绝对头部相关声学传递函数或脉冲响应的估计方法
一方面,还提供佩戴包括多个传声器的听力系统的用户的个人化相对或绝对头部相关声学传递函数或脉冲响应的估计方法,该方法包括:
对于L个测试人员中的每一个
-使用位于测试人员(l,不同于用户)嘴巴处的用于拾取测试人员发声的近讲传声器及位于测试人员耳朵处的传声器测量绝对或相对自我话音传递函数(OVTl)或脉冲响应并存储在数据库(Ol,Hl)中;
-使用不同于测试人员嘴巴的至少一位置处的声源测量从该至少一位置到位于测试人员耳朵处的传声器的绝对或相对远场头部相关传递函数(HRTFl)并存储在数据库(Ol,Hl)中;
对于听力系统的用户,
-使用听力系统的用于拾取用户发声的传声器测量绝对或相对自我话音传递函数(OVTuser)或脉冲响应;
-根据预定判据将所述绝对或相对自我话音传递函数(OVTuser)或脉冲响应映射到所述数据库(Ol,Hl)中多个测试人员之中的最匹配测试人员的绝对或相对自我话音传递函数(OVTl*)或脉冲响应;
-根据所述数据库(Ol,Hl)中存储的所述最匹配测试人员的绝对或相对远场头部相关传递函数(HRTFl*)得出所述用户的估计的绝对或相对远场头部相关传递函数(HRTFuser)。
该方法可包括从用户的绝对或相对远场头部相关传递函数(HRTFuser)计算个人化波束形成器系数(wk)。该方法可配置成确定听力系统例如听力装置如助听器的波束形成器(如双耳听力系统的双耳波束形成器)的个人化波束形成器系数(wk)。波束形成器可配置成将波束形成器权重应用于来自多个传声器的电输入信号,从而提供波束成形信号。
计算机可读介质或数据载体
本发明进一步提供保存包括程序代码(指令)的计算机程序的有形计算机可读介质(数据载体),当计算机程序在数据处理系统上运行时,使得数据处理系统(计算机)执行(完成)上面描述的、“具体实施方式”中详细描述的及权利要求中限定的方法的至少部分(如大部分或所有)步骤。
作为例子但非限制,前述有形计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储器、磁盘存储器或其他磁性存储装置,或者可用于执行或保存指令或数据结构形式的所需程序代码并可由计算机访问的任何其他介质。如在此使用的,盘包括压缩磁盘(CD)、激光盘、光盘、数字多用途盘(DVD)、软盘及蓝光盘,其中这些盘通常磁性地复制数据,同时这些盘可用激光光学地复制数据。其它存储介质包括存储在DNA中(例如合成的DNA链中)。上述盘的组合也应包括在计算机可读介质的范围内。除保存在有形介质上之外,计算机程序也可经传输介质如有线或无线链路或网络如因特网进行传输并载入数据处理系统从而在不同于有形介质的位置处运行。
计算机程序
此外,本申请提供包括指令的计算机程序(产品),当该程序由计算机运行时,导致计算机执行上面描述的、“具体实施方式”中详细描述的及权利要求中限定的方法(的步骤)。
数据处理系统
一方面,本发明进一步提供数据处理系统,包括处理器和程序代码,程序代码使得处理器执行上面描述的、“具体实施方式”中详细描述的及权利要求中限定的方法的至少部分(如大部分或所有)步骤。
APP
另一方面,本发明还提供称为APP的非短暂应用。APP包括可执行指令,其配置成在辅助装置上运行以实施用于上面描述的、“具体实施方式”中详细描述的及权利要求中限定的听力装置或听力系统的用户接口。APP配置成在移动电话如智能电话或另一使能与所述听力装置或听力系统通信的便携装置上运行。
定义
声源的“近场”为靠近声压和声粒子速度不同相(波前不平行)的声源的区域。在近场中,声音强度可随距离大大变化(相较于远场)。声学近场与远场之间的差异与声音的频率(波长)有关,对于距声源的距离<2λ(2倍波长),近场占优势;及对于距声源的距离>2λ,远场占优势。声音的波长λ由λ=c/f给出,其中c为声音在空气中的速度(343m/s,@20℃)及f为频率。在f=1kHz,例如声音的波长为0.343m(即34cm)。来自声源的声压随距声源的距离L增加而衰减。对于远场声源SFF(位于例如远离测量位置如传声器>1m),距声源的距离每增加一倍,声压降低6dB。对于近场声源,其更复杂(可变)。
在本说明书中,“听力装置”指适于改善、增强和/或保护用户的听觉能力的装置如助听器例如听力仪器或有源耳朵保护装置或其它音频处理装置,其通过从用户环境接收声信号、产生对应的音频信号、可能修改该音频信号、及将可能已修改的音频信号作为可听见的信号提供给用户的至少一只耳朵而实现。“听力装置”还指适于以电子方式接收音频信号、可能修改该音频信号、及将可能已修改的音频信号作为听得见的信号提供给用户的至少一只耳朵的装置如头戴式耳机或耳麦。听得见的信号例如可以下述形式提供:辐射到用户外耳内的声信号、作为机械振动通过用户头部的骨结构和/或通过中耳的部分传到用户内耳的声信号、及直接或间接传到用户耳蜗神经的电信号。
听力装置可构造成以任何已知的方式进行佩戴,如作为佩戴在耳后的单元(具有将辐射的声信号导入耳道内的管或者具有安排成靠近耳道或位于耳道中的输出变换器如扬声器)、作为整个或部分安排在耳廓和/或耳道中的单元、作为连到植入在颅骨内的固定结构的单元如振动器、或作为可连接的或者整个或部分植入的单元等。听力装置可包括单一单元或几个彼此(例如声学、电学或光学)通信的单元。扬声器可连同听力装置的其它部件一起设置在壳体中,或者其本身可以是外部单元(可能与柔性引导元件如圆顶状元件组合)。
更一般地,听力装置包括用于从用户环境接收声信号并提供对应的输入音频信号的输入变换器和/或以电子方式(即有线或无线)接收输入音频信号的接收器、用于处理输入音频信号的(通常可配置的)信号处理电路(如信号处理器,例如包括可配置(可编程)的处理器,例如数字信号处理器)、及用于根据处理后的音频信号将听得见的信号提供给用户的输出单元。信号处理器可适于在时域或者在多个频带处理输入信号。在一些听力装置中,放大器和/或压缩器可构成信号处理电路。信号处理电路通常包括一个或多个(集成或单独的)存储元件,用于执行程序和/或用于保存在处理中使用(或可能使用)的参数和/或用于保存适合听力装置功能的信息和/或用于保存例如结合到用户的接口和/或到编程装置的接口使用的信息(如处理后的信息,例如由信号处理电路提供)。在一些听力装置中,输出单元可包括输出变换器,例如用于提供空传声信号的扬声器或用于提供结构或液体传播的声信号的振动器。在一些听力装置中,输出单元可包括一个或多个用于(例如向多电极阵列)提供电信号的输出电极,用于电刺激耳蜗神经(耳蜗植入型助听器)。听力装置可包括喇叭扩音器(包括多个输入变换器和多个输出变换器),例如用在音频会议情形。
在一些听力装置中,振动器可适于经皮或由皮将结构传播的声信号传给颅骨。在一些听力装置中,振动器可植入在中耳和/或内耳中。在一些听力装置中,振动器可适于将结构传播的声信号提供给中耳骨和/或耳蜗。在一些听力装置中,振动器可适于例如通过卵圆窗将液体传播的声信号提供到耳蜗液体。在一些听力装置中,输出电极可植入在耳蜗中或植入在颅骨内侧上,并可适于将电信号提供给耳蜗的毛细胞、一个或多个听觉神经、听觉脑干、听觉中脑、听觉皮层和/或大脑皮层的其它部分。
听力装置如助听器可适应特定用户的需要如听力受损。听力装置的可配置的信号处理电路可适于施加输入信号的随频率和电平而变的压缩放大。定制的随频率和电平而变的增益(放大或压缩)可在验配过程中通过验配系统基于用户的听力数据如听力图使用验配基本原理(例如适应语音)确定。随频率和电平而变的增益例如可体现在处理参数中,例如经到编程装置(验配系统)的接口上传到听力装置,并由听力装置的可配置的信号处理电路执行的处理算法使用。
“听力系统”指包括一个或两个听力装置的系统。“双耳听力系统”指包括两个听力装置并适于协同地向用户的两只耳朵提供听得见的信号的系统。听力系统或双耳听力系统还可包括一个或多个“辅助装置”,其与听力装置通信并影响和/或受益于听力装置的功能。前述辅助装置可包括下述的至少一个:遥控器、远程传声器、音频网关设备、娱乐设备如音乐播放器、无线通信装置如移动电话(例如智能电话)、平板电脑或另一装置例如包括图形界面。听力装置、听力系统或双耳听力系统例如可用于补偿听力受损人员的听觉能力损失、增强或保护正常听力人员的听觉能力和/或将电子音频信号传给人。听力装置或听力系统例如可形成广播系统、主动耳朵保护系统、免提电话系统、汽车音频系统、娱乐(如TV、音乐播放或卡拉OK)系统、远程会议系统、教室放大系统等的一部分或者与其交互。
本发明的实施例如可用助听器应用中,例如助听器或助听器系统。
附图说明
本发明的各个方面将从下面结合附图进行的详细描述得以最佳地理解。为清晰起见,这些附图均为示意性及简化的图,它们只给出了对于理解本发明所必要的细节,而省略其他细节。在整个说明书中,同样的附图标记用于同样或对应的部分。每一方面的各个特征可与其他方面的任何或所有特征组合。这些及其他方面、特征和/或技术效果将从下面的图示明显看出并结合其阐明,其中:
图1A示出了根据本发明的用于从个人自我话音传递函数信息估计个人化波束形成器系数的示例性离线程序;
图1B示出了根据本发明的用于从个人自我话音传递函数信息估计个人化波束形成器系数的示例性在线程序;
图2示意性地示出了声音从嘴巴到耳朵的通路,用于测量右耳传声器Mi,i=1,2,3的自我话音脉冲响应;
图3A示出了根据本发明的听力系统实施例的框图,其包括波束形成器及用于从用户的语音估计相对自我话音传递函数的系统;
图3B示出了根据本发明的听力系统实施例的框图,用于从用户的语音估计相对自我话音传递函数的系统;
图3C示出了根据本发明的听力装置实施例的框图,其包括波束形成器及用于从用户的语音估计相对自我话音传递函数的系统;
图4示意性地示出了用于测量一人如测试对象l的、在空间方向或位置j与该人佩戴的根据本发明的听力系统的传声器i之间的头部相关脉冲响应(或声学传递函数)的设置;
图5示出了跨不同个体(星号)测得的复数(实部、虚部)相对自我话音传递函数(OV-RTF)与跨不同个体及不同方向(圆点)测得的远场相对传递函数(FF-RTF)的比较曲线图;
图6A示意性地示出了多个人的绝对或相对声学传递函数或脉冲响应的数据库(Ol,Hl),包括对应的自我话音传递函数(OVT)和头部相关传递函数(HRTF);
图6B示意性地示出了用于测量位于人的左和右耳处的传声器系统的自我话音传递函数(OVT)(或脉冲响应OIR)和声学头部相关传递函数(HRTF)(或脉冲响应HRIR)的设置;
图7示出了处理器的一部分的实施例,用于提供听力系统佩戴者的个人化声学远场头部相关传递函数;
图8示意性地示出了根据本发明实施例的耳内接收器式听力装置;
图9示出了估计听力系统佩戴者的个人化声学远场传递函数的方法实施例的流程图。
通过下面给出的详细描述,本发明进一步的适用范围将显而易见。然而,应当理解,在详细描述和具体例子表明本发明优选实施例的同时,它们仅为说明目的给出。对于本领域技术人员来说,基于下面的详细描述,本发明的其它实施方式将显而易见。
具体实施方式
下面结合附图提出的具体描述用作多种不同配置的描述。具体描述包括用于提供多个不同概念的彻底理解的具体细节。然而,对本领域技术人员显而易见的是,这些概念可在没有这些具体细节的情形下实施。装置和方法的几个方面通过多个不同的块、功能单元、模块、元件、电路、步骤、处理、算法等(统称为“元素”)进行描述。根据特定应用、设计限制或其他原因,这些元素可使用电子硬件、计算机程序或其任何组合实施。
电子硬件可包括微机电系统(MEMS)、(例如专用)集成电路、微处理器、微控制器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、选通逻辑、分立硬件电路、印刷电路板(PCB)(如柔性PCB)、及配置成执行本说明书中描述的多个不同功能的其它适当硬件,例如用于感测和/或记录环境、装置、用户等的物理性质的传感器。计算机程序应广义地解释为指令、指令集、代码、代码段、程序代码、程序、子程序、软件模块、应用、软件应用、软件包、例程、子例程、对象、可执行、执行线程、程序、函数等,无论是称为软件、固件、中间件、微码、硬件描述语言还是其他名称。
图1A示出了根据本发明的用于从个人自我话音传递函数信息估计个人化波束形成器系数的示例性离线程序。该离线程序包括:
A.使用位于用户嘴巴处的近讲传声器(例如参见图2)测量自我话音传递函数(OVT);
B.将OVT映射到绝对或相对头部相关传递函数(HRTF);
C.从HRTF计算个人化波束形成器系数。
图1B示出了根据本发明的用于从个人自我话音传递函数信息估计个人化波束形成器系数的示例性在线程序。该在线程序包括:
A.使用自我话音检测器和助听器(HA)传声器(参见图3A、3B、3C)估计相对自我话音传递函数(OVT);
B.将OVT映射到绝对或相对头部相关传递函数(HRTF);
C.从HRTF计算个人化波束形成器系数。
绝对和相对自我话音传递函数
设hi(n)指自我话音脉冲响应OIR,即从刚好在助听器用户嘴巴外面的一点(在此为近讲传声器的位置)到助听器的第i个传声器(图2)的脉冲响应。设OVT’k,i,k=1,…,K(K为频带数量)指hi(n)的傅里叶变换,OVT’k,i因而为从嘴巴到第i个传声器的OVT。定义绝对OVT向量OVT’k=[OVTk,1…OVTk,M],其中M为传声器数量。最后,设相对于预定参考传声器iref的相对OVT向量由OVTk=OVT’k/OVTk,iref给出。显然,绝对OVT携带比相对OVT多的信息,因为后者可从前者得出,但反过来不行。换言之,绝对OVT携带明确的关于从嘴巴到传声器的声音传播时间的信息,而相对OVT没有。
图2示意性地示出了根据本发明的示例性听力装置HD的右耳传声器Mi,i=1,2,3的自我话音脉冲响应。听力装置HD位于用户右耳处。听力装置包括多个传声器,在此为至少三个传声器(M1,M2,M3)。三个传声器(M1,M2,M3)均位于听力装置的位于用户外耳(耳廓)处或后面的BTE部分中。三个传声器位于助听器中(在此位于BTE部分中),有利于确定用于拾取用户话音(自我话音)的波束形成器及用于拾取来自环境的声音的波束形成器的滤波器权重。在图2的示例性实施例中,传声器位于三角形顶点处。BTE部分连接到适于位于用户耳道处或耳道中的ITE部分。BTE部分和ITE部分通过连接件IC彼此(例如声学和/或电学)连接。连接件可包括用于将声音从位于BTE部分中的扬声器引导到用户耳道的管。连接件可包括多个电导体,用于将BTE部分电连接到ITE部分。ITE部分可包括位于用户耳道中的扬声器。在后一情形下,助听器可实施“耳内接收器”(RITE)型。
作为所提出的方法的第一步骤,必须估计绝对或相对OVT。
绝对OVT向量例如可在助听器HA验配期间在听觉护理专家(HCP)处使用小话音样本进行估计:助听器用户佩戴HA及嘴巴参考传声器(参见图2的近讲传声器)放在用户嘴巴(图2中的“嘴巴”)前面。用户读几个测试句子,其在嘴巴参考传声器和HA传声器(参见图2中的M1,M2,M3)处记录。绝对OVT使用标准系统标识算法从传声器信号估计,例如,对于传声器M3,H3=(IN(M3)/IN(MCT)),其中IN(x)为由传声器x(x=M3,MCT)拾取的复值(随频率而变的)输入信号。随频率而变的输入信号IN(x)可从对应的时域输入信号确定(例如通过傅里叶变换,如离散傅里叶变换(DFT)),例如基于测得的脉冲响应。
另外或作为备选,可使用相对OVT。如果在HCP处测得绝对OVT,则相对OVT可容易地从绝对OVT得出。作为备选,相对OVT可在助听器日常使用期间在线估计,如下所述(参见图3A、3B、3C)。
图3A示出了听力系统实施例的框图,其包括听力装置HD和可从听力装置访问的外部数据库MEM。听力装置包括波束形成器及根据本发明的用于从用户的语音估计相对自我话音传递函数的系统。图3A的听力装置HD包括多个(M个)传声器(M1,…,MM),配置成从听力装置的环境拾取声音并将该声音转换为(例如数字化的)电输入信号(IN1,…,INM)。听力装置HD还包括分析滤波器组(FB-A1,…,FB-AM),用于将多个(时域)电输入信号(IN1,…,INM)转换为相应的(频域)电输入信号即子频带信号(X1,…,XM)。听力装置包括自我话音检测器,配置成估计所述多个电输入信号或其处理后版本是否或者以何种概率包括来自听力系统用户的话音,并提供标示该估计的自我话音控制信号OV。听力装置还包括处理器PRO,其连接到所述多个传声器(M1,…,MM)、自我话音检测器OVD和用于使能访问数据库(例如位于服务器上)的收发器Rx/Tx。数据库(Ol,Hl)包括多个人的(例如测得的或确定的/估计的)绝对或相对声学传递函数或脉冲响应(参见从数据库取回的信号OVT-HRTF)。对于多个人中的每一人,数据库(Ol,Hl)包括a)从所述多个人之中的给定人的嘴巴到该给定人佩戴的传声器系统的至少一(如所有)传声器的相对或绝对自我话音传递函数或脉冲响应;及b)从不同于给定人的嘴巴的至少一空间位置到给定人佩戴的传声器系统的至少一(如所有)传声器的相对或绝对头部相关声学传递函数或脉冲响应。收发器Rx/Tx可例如经网络如因特网实施到另一装置(如智能电话等)或服务器(如云服务器)的无线连接。在实施例中,数据库(或其一部分)存储在听力装置的存储器MEM中(例如参见图3B、3C)。处理器PRO配置成根据多个电输入信号(IN1,…,INM)或其处理后版本以及自我话音控制信号OV估计从用户嘴巴到多个传声器(M1,…,MM)中的至少一个(如所有)的自我话音相对传递函数OVTuser。处理器PRO还配置成访问数据库并根据估计的自我话音相对传递函数OVTuser和数据库(Ol,Hl)估计从不同于用户嘴巴的至少一空间位置(例如用户前面)到听力装置的至少一(如所有)传声器的个人化相对或绝对头部相关声学传递函数dk,user(或对应的脉冲响应)。听力装置还包括波束形成器BF,配置成接收多个电输入信号(IN1,…,INM)或其处理后版本(X1,…,XM)并基于个人化相对或绝对头部相关声学传递函数dk,user或脉冲响应确定波束形成器权重Wij及在其基础上提供波束成形信号YBF。波束成形信号可在遭受由合成滤波器组FB-S转换到时域之前在另一处理器(例如参见图3C的信号处理器SP)中进一步处理,合成滤波器组提供时域输出信号OUT,其被馈给输出单元从而产生可由用户感知为声音的刺激。在图3A的实施例中,输出单元包括用于将信号OUT转换为声学信号(包括空气中的振动)的扬声器SPK。从给定波束形成器结构的相对或绝对传递函数确定波束形成器权重在本领域众所周知。对于MVDR波束形成器,波束形成器权重WH(k)的确定可写为:
图3B示出了听力系统的框图,其包括用于从用户的语音信号估计相对自我话音传递函数的在线系统的实施例。图3B的听力装置HD包括第一和第二传声器(M1,M2),配置成从听力装置环境拾取声音并将该声音转换为第一和第二(例如数字化的)电输入信号(IN1,IN2)。听力装置HD还包括第一和第二分析滤波器组(FB-A1,FB-A2),用于将第一和第二(时域)电输入信号(IN1,IN2)转换为相应的第一和第二(频域)电输入信号即子频带信号(X1,X2)。第一和第二电(子频带)输入被馈给相应检测器(OVD,SNRE,…,DETX)以及自我话音功率谱密度估计器OV-PSDE,从而提供每一电输入信号(X1,X2)的(随频率而变的)谱密度Sk,i(在此M=2,因而i=1,2)。
音频信号的功率谱密度(psd)为(跨某一时间范围确定的)信号的能量跨频率的分布的表示。功率谱密度-频率的曲线也可称为“谱能量分布”。对于随机信号(例如一些类型的噪声),功率谱密度定义为其自相关函数的傅里叶变换。对于音频信号,功率谱密度例如可基于信号的在先分类,例如分类为“语音”或“噪声”,例如使用话音活动检测器。功率谱密度例如可跨音节、词、句子或更长时间段的连贯语音的时间帧确定。在自我话音的上下文中,功率谱密度可适当地与自我话音检测器指明(例如以高于某一阈值如70%或80%的概率)存在自我话音的时间段有关。
模块OVD表示自我话音检测算法,其在没有太多背景噪声的情形下连续监测助听器用户何时讲话,为了鲁棒性,该检测可与其它检测器如SNR检测器SNRE结合。设定检测阈值使得仅检测高度可能的自我话音情形,我们对检测几种情形有兴趣,例如一小时一次或者每6小时一次,其中自我话音高度可能(换言之,假警报率优选应低)。如果许多自我话音情形未被发现,不太重要。
设Sk,i指由传声器i在频率k拾取的自我话音信号的功率谱密度,及设Sk=[Sk,1…Sk,M]指前述功率谱密度的向量。在以高似然性检测到自我话音的情形下,相对OVT可被估计为OVTk,user=sqrt(Sk/Sk,iref)。
自我话音功率谱密度估计器OV-PSDE提供自我话音功率谱密度向量Sk=[Sk,1Sk,2]在给定时间点的估计量。该估计量基于来自与第一和第二电输入信号(X1,X2)的当前信号内容有关的一个或多个检测器的输入。在图3B的实施例中,示出了自我话音检测器OVD和SNR估计器SNRE。自我话音检测器OVD提供第一和/或第二电输入信号(X1,X2)或源自其的信号(例如其组合版,例如波束成形版)在给定时间m和频率k(即时频单元(k,m))是否(或以何种概率)包括用户自我话音的指示(OV=OV(k,m))。SNR估计器SNRE例如可提供给定时间m和频率k的估计量(SNR=SNR(k,m))。检测器信号可用于改善给定时间点的自我话音功率谱密度的估计量,例如利用存在自我话音OV的估计量和/或基于目标(自我话音)语音的质量的估计量SNR。其它检测器(在图3B中标示为DETX,检测器信号detx)例如可包括运动检测器(例如包括加速计)、信号相似性或相关检测器如自相关检测器等。
听力装置还包括相对OVT估计器ROVTE,用于估计相对传递函数向量OVTk,user。相对自我话音传递函数向量的元素为声音从用户嘴巴到听力装置的每一传声器的相对传递函数,从输入的自我话音功率谱密度向量Sk估计为OVTk,user=sqrt(Sk/Sk,iref),其中iref指参考传声器。对于图3B的实施例,仅具有两个传声器(M=2),如果参考传声器为M1(即iref=1),则相对自我话音传递函数向量OVTk,user包括两个元素(1,OVTk,user,1)=(1,Sk,2/Sk,1),k=1,…,K。
听力装置还包括个人化头部相关传递函数估计器P-HRTF-E,用于从估计的自我话音传递函数向量OVTk,user和数据库(Ol,Hl)估计个人化相对或绝对头部相关声学传递函数dk,user或脉冲响应。个人化头部相关传递函数估计器P-HRTF-E的实施例结合图7进一步详细描述。数据库(Ol,Hl)(或其一部分)存储在听力装置HD的存储器MEM中。
图3C示出了听力装置HD的实施例的框图,其包括波束形成器BF及根据本发明的用于从用户的语音估计相对自我话音传递函数OVT的系统。图3C的听力装置HD包括与图3A的听力系统实施例中所示及结合其描述的同样的功能元件,但数据库(Ol,Hl)位于听力装置的存储器MEM中(而不是如图3A中那样实施在可经(例如无线)通信链路访问的单独装置上),及听力装置具体包括两个传声器(M1,M2),而不是M个(其中M可大于2)。
从绝对或相对OVT估计绝对或相对HRTF
我们提出从如上所述的绝对/相对OVT估计量估计绝对/相对HRTF。
绝对和相对HRTF:
设gi,j,l(n)指从空间中的第j个点(图4中的“扬声器j”处)到用户l(图4中的“测试对象”l)佩戴的助听器系统的第i个传声器(图4中的传声器Mi)的脉冲响应(头部相关脉冲响应HRIR)。例如,可使用来自水平面中以用户头部为中心及高度对应于用户耳朵的圆(参见图4中的虚线圆圈)上等距定位的空间点(例如J个点,参见图4)(每一空间点间隔开(360/J)°)的脉冲响应。例如,可使用J=16、J=32或J=48个点。
使用与OIR同样的程序,HRIR可被变换为绝对HRTF:设e’k,i,j,l,k=1,…,K指HRIRgi,j,l(n)的傅里叶变换,其中e’k,i,j,l为第l个测试对象的在频率k从空间点j到传声器i的绝对HRTF。之后,我们可形成绝对HRTF向量e’k,j,l=[e’k,0,j,l…e’k,M-1,j,l]并定义相对HRTF向量ek,j,l=e’k,j,l/ek,iref,j,l。
图4示意性地示出了定义测试对象l的、空间点j与传声器i之间的头部相关脉冲响应的几何布置。
HRTF和OVT对的先验数据库:
我们假定(Ol,Hl)对的数据库已针对许多测试对象先验地收集。在此,Ol指测试对象l的一个或多个或所有(对于所有传声器)预先测得的OVT(例如堆叠为向量),及类似地,Hl指测试对象l的一个或多个或所有HRTF(例如堆叠为向量)。
例如,Ol可以是测试对象l的对于所有频率k=1,…,K和所有传声器的绝对OVT的集合OVT’k,l。作为另一例子,Ol可定义为测试对象l的对于一个或多个传声器的相对传递函数OVTk,l。存在许多其它显而易见的变型(频率、绝对/相对OVT及传声器指数的组合)。
类似地,Hl可以是对于空间点j和所有频率k=1,…,K的绝对HRTF的集合e’k,j,l。作为备选,Hl可表示对于所有频率k=1,…,K和所有空间点j=1,…,J的绝对HRTF的集合。作为备选,可表示对于空间点子集、传声器子集、所有频率k=1,…,K的相对HRTF的集合。存在许多其它显而易见的变型(频率、绝对/相对OVT、空间点及传声器指数的组合)。
作为具有(Ol,Hl)对的备选,OVT可由从某一位置测得的传递函数代替,例如如EP2928215A1中描述的。
从OVT映射到HRTF:
给定(Ol,Hl)对的先验数据库,l=1,…,L(其中L为测试对象的数量),存在几种从用户的OVT信息Ouser估计用户的HRTF信息Huser的方法。应注意,特定用户的HRTF信息和OVT信息不可能在先验数据库中存在。
基于查表的方法:
在HCP处或在如上概述的在线程序中测得的用户的OVT信息可与先验数据库中的每一实例Ol,l=1,..,L进行比较,以找到Ol最佳匹配Ouser的数据库项l*。例如,可使用最小均方距离度量。用户的个人化HRTF信息的对应估计量则为Hl*,其中
l*=argminl d(Ol,Ouser)
其中d(.)为OVT之间的距离度量。可使用几个不同的距离度量,例如基于欧氏距离最小化。
基于统计模型的方法:
基于先验数据库,可得出先验统计模型。具体地,如果先验数据库中的(Ol,Hl)对被视为随机向量变量的实现,则联合概率密度模型f(O,H)可适合数据库中的项,例如使用高斯混合模型或其它参数模型。给定该统计模型及(需要其HRTF信息的估计量的)特定用户的估计的Ouser信息,直接计算个人HRTF信息的最小均方(mmse)估计量:
Hmmse=∫H*f(H|Ouser)dH
其中∫指跨向量H中的所有维度的多维积分,及其中f(H|O)指条件功率分布函数(pdf),其可从联合pdf模型f(O,H)得出。积分可数值地评估。
作为备选,Huser的最大后验(map)概率估计量可通过后验概率的最大化得到:
HRTFmap=maxH f(Ouser|H)*f(H)
其中f(H)指HRTF向量上的后验概率,其例如可被选择为均匀分布,f(H)=常数。最大化可数值地进行。
基于深度神经网络的方法:
基于先验数据库,深度神经网络(DNN)可在部署之前分别将Ol和Hl用作目标输出在离线程序中进行训练。DNN可以是前馈网络(多层感知器)、递归网络、卷积网络或其组合和变型。在训练期间优化的价值函数可以是估计的HRTF向量与真实HRTF向量之间的均方误差等。
从估计的个人化HRTF求得波束形成器系数
从估计的个人化HRTF信息Hest,直接得出个人化波束形成器系数。例如,如果Hest包含对于同一助听器中的两个传声器、来自正面位置(j)的声源的相对HRTF ek,j,k=1,…,K,则最小方差无失真响应(MVDR)波束形成器的系数由下式给出:
wk=(Rvv,k)-1ek,j/(ek,j T(Rvv,k)-1ek,j)
其中(.)-1指矩阵逆,矩阵Rvv,k为所涉及的传声器的噪声互功率谱密度矩阵[Loizou],及ek,j为与正面方向的空间点(j)有关的(2元素)相对HRTF向量。
许多其它个人化波束形成器变型例如多通道齐纳(Wiener)滤波器[Brandstein]、双耳波束形成器(包括两只耳朵上的助听器中的传声器)[Marquard]等可从估计的个人化绝对/相对HRTF向量得出。
扩展
使用HRIR和OIR而不是HRTF和OVT:
本发明的概念结合OVT和HRTF描述。然而,可直截了当地使这些量与时域类似量OIR和HRIR互换并进行从OIR(从用户的话音样本估计,或在HCP处,或在“在线”程序中)到HRIR的映射。
检测似乎不可能的OVT:
使用“基于查表的方法”进行从个人化OVT到个人化HRTF的映射涉及估计的个人OVT与测试对象的已测量并先期存储在先验数据库中的OVT之间的距离计算。计算的最小距离可用于估计OVT测量结果的可靠性。具体地,如果最小距离超过预先指定的阈值,OVT测量可被标记为可能不可靠(例如由于噪声、混响或OVT估计过程期间的其它问题引起)。
图5示出了跨不同个体(星号)测得的相对自我话音传递函数OV-RTF与跨不同个体及不同方向(圆点)测得的远场相对传递函数FF-RTF的比较。图5示出了跨不同个体测得的相对自我话音传递函数OV-RTF(每一星号标示个体OV相对TF)与跨不同个体及不同方向测得的远场传递函数(每一圆点标示个体远场相对TF(FF-RTF))的比较。可以看出,OV-RTF的复平面中的位置不同于大多数FF-RTF。知道OV-RTF的典型位置(不仅在所示频率,而是跨不同频率)可用于确认估计的OV-RTF。例如,其可用于确定RTF是否可用于更新OV波束形成器的权重。确认决定可基于估计的OV-RTF与最可能的OV-RTF之间的距离度量,例如跨不同频率测得。作为备选,确认可基于有监督的学习(例如基于标记有效和无效的OV-RTF的例子训练神经网络)。
OV-RTF可受控地估计,其中用户被提示讲话。作为备选,OV-RTF可在检测到OV时进行估计/更新。OV检测器可基于声学特征,或者作为备选/此外,基于其它特征如检测到颌部振动(从加速计或振动传声器)或者基于个体特征如音高频率。OV检测也可基于来自另一听力仪器的结果。
确认程序用OV作为例子例示。然而,所描述的确认方法也可用于确认其它脉冲响应测量结果,如测得的0度(正面)脉冲响应(例如按EP2928215A1中描述的测得)。
图6A示意性地示出了多个人(l=1,…,L)的绝对或相对声学传递函数或脉冲响应的数据库(Ol,Hl),包括多个测试对象的对应的自我话音传递函数OVTl和声学(远场)头部相关传递函数HRTFl。图6A示出了一张表,包括记为“测试对象l”的左(第一)列、记为OVTl(k,i)的第二(中间)列、及记为HRTFl(θj,k,i)的第三(右)列,其中l=1,…,L,j、k和i分别为定义到声学远场声源(的位置)的方向(j=1,…,J)、频率(k=1,…,K)、和传声器(i=1,…,M)的指数。每一行与具有指数l’的特定测试对象(例如给定的人)有关。行l’在第二列中包括(例如预定的,例如测得的)特定测试对象l’的、给定传声器(Mi,i=1,…,M)的随频率(k=1,…,K)而变的自我话音传递函数OVTl’的值。行l’在第三列中还包括(例如预定的,例如测得的)特定测试对象l’的、给定传声器(Mi,i=1,…,M)的、到声学远场声源(的位置)的多个方向(θj,j=1,…,J)的随频率(k=1,…,K)而变的声学(远场)头部相关传递函数HRTFl’的值。对其在数据库中提供传递函数的值(例如图6A的表)的频率k可代表听力装置的工作频率范围,例如0到10kHz,或者代表出现语音。对其在数据库中提供值的频率k数量可有限,例如小于或等于8,或者小于或等于4,例如至少一或至少二。对其在数据库中提供传递函数的值的、听力装置或听力系统(如双耳助听器系统)的传声器的数量M例如可以是全部(M,或者在相对传递函数的情形下M-1)或者传声器的子集,例如至少一传声器。对其在数据库中提供远场声学传递函数的值的、到声学远场声源(的位置)的方向(θj,j=1,…,J)的数量可表示佩戴听力装置或听力系统的用户周围的空间,例如均匀分布,或者其例如可从一个或多个所选方向(包括前面、侧面和后面中的一个或多个,例如处于适当的通信距离,例如距用户1到2米)聚焦于被认为对用户最重要的方向(或位置)。对其在数据库中提供远场声学传递函数的值的、到声学远场声源(的位置)的方向(θj,j=1,…,J)的数量大于或等于1,但可限于16、8或4。
图6B示意性地标示由特定人(测试对象l)佩戴的包括多个传声器Mi,i=1,…,M的传声器系统的自我话音传递函数OVTl(k)和声学(远场)头部相关传递函数HRTFl(θj,k)的测量。图6B的传声器Mi(i=1,2,3,4)例如可表示包括位于人l的左和右耳处的第一和第二听力装置的双耳助听器系统的传声器,每一听力装置包括位于该人的相应左或右耳处的两个传声器(分别为(M1,M2)和(M3,M4))。测量例如可在录音室中由听觉护理专家(HCP)进行。该人l的特定传声器Mi的随频率而变的自我话音传递函数OVTl(k)可在用户讲话的同时测量,例如讲特定的测试词或句子(参见图6B中的“自我话音(l)”)。对于不同的传声器,可重复测量。同样,该人(测试对象l)的、特定传声器Mi及(远场)声源位置(在此对应于相对于人的正面方向(θ=0),参见穿过人头部和声源的点线)的随频率而变的声学(远场)头部相关传递函数HRTFl(θj,k)可在声源正播放测试声音(参见图6B中的“测试声音”)时进行测量。对于不同的传声器和(远场)声源位置,可重复测量。测试人员周围的虚线圆圈可表示对话伙伴的典型距离,例如1-2米。远场头部相关传递函数HRTFl(θj,k)可针对一个以上距离例如针对距测试人员两个以上距离如针对1米和3米的距离进行测量并存储在数据库中。给定半径如1米的圆圈上的位置可不必须等距,而是例如在人的正面比后面具有更高的测量位置密度。测试对象周围的测量点的分布可适应预期的应用场合(例如固定的如汽车应用对走来走去的演讲应用)。
代替测量不同频率的传递函数,可测量对应的脉冲响应(OIR,HRIR)并通过适当的变换(例如傅里叶变换算法,如离散傅里叶变换(DFT)算法)转换到频域。
图7示出了处理器的一部分P-HRTF-E的实施例,用于估计听力系统佩戴者的个人化(相对或绝对)声学远场头部相关传递函数dk,user或脉冲响应。个人化头部相关传递函数估计器P-HRTF-E配置成通过与数据库(Ol,Hl)(参见图7中的存储器MEM)中存储的(预先确定的,例如测得的)传递函数(或脉冲响应)数据比较而从(基于听力装置的传声器当前接收的自我话音信号)估计的自我话音传递函数向量OVTk,user估计个人化相对或绝对头部相关声学传递函数dk,user或脉冲响应。该处理器部分P-HRTF-E包括比较器,其配置成将(例如在处理器PRO的另一部分ROVTE中,例如参见图3B)估计的自我话音传递函数OVTk,user与数据库(Ol,Hl)存储的自我话音传递函数OVTl(k),l=1,…,L(参见图6A)进行比较。对于数据库(Ol,Hl)的每一自我话音传递函数OVTl(k),l=1,…,L,比较器估计与(对于听力系统的一个传声器、几个传声器或所有传声器)估计的自我话音传递函数OVTk,user的差ΔOVTuser,l(k)。该处理器部分P-HRTF-E还包括最小化器MIN,配置成确定其差ΔOVTuser,l(k)最小的指数l*。该处理器部分P-HRTF-E还包括选择器SEL,用于在数据库(Ol,Hl)中存储的L组传递函数之中选择用户l*的相对或绝对头部相关声学传递函数HRTFl*(k)及将个人化传递函数提供为向量dk,user。作为向量dk,user的个人化传递函数例如可用于确定波束形成器的个人化波束形成器权重,例如参见图3A、3C。
图8示出了根据本发明实施例的耳内接收器式听力装置。图8示出了根据本发明实施例的BTE/RITE式听力装置(BTE=“耳后”,RITE=“耳内接收器”)。示例性的听力装置HD如助听器属于特定类型(有时称为耳内接收器式或RITE型),包括适于位于用户耳朵处或耳后的BTE部分(BTE)和适于位于用户耳道中或耳道处并包括接收器(=扬声器,SPK)的ITE部分(ITE)。BTE部分和ITE部分通过连接元件IC和ITE及BTE部分中的内部接线(例如参见BTE部分中接线Wx)进行连接(如电连接)。作为备选,连接元件可完全或部分由BTE部分与ITE部分之间的无线链路构成。当然,也可使用其它风格,例如其中ITE部分包括适应用户耳朵和/或耳道的定制耳模或由该定制耳模构成。
在图8的听力装置实施例中,BTE部分包括具有两个输入变换器(如传声器)(MBTE1,MBTE2)的输入单元,每一输入变换器用于提供表示输入声音信号(SBTE)(源自听力装置周围的声场S)的电输入音频信号。输入单元还包括两个无线接收器(WLR1,WLR2),用于提供相应的直接接收的辅助音频和/或控制输入信号(和/或使能将音频和/或控制信号传给其它装置如遥控器或处理装置,或电话,或另一听力装置)。访问根据本发明的绝对或相对声学传递函数或脉冲响应的数据库(Ol,Hl)还可经无线收发器(WLR1,WLR2)之一提供。听力装置HD包括其上安装有多个电子元件的衬底SUB,包括存储器MEM,其例如保存不同助听器程序(如用户特有数据例如与听力图有关的数据,或者从其得出的参数设置例如限定前述(用户特有)程序的参数设置,或者算法的其它参数例如波束形成器滤波器权重,和/或渐变参数)和/或助听器配置如输入源组合(MBTE1,MBTE2(MITE),WLR1,WLR2),例如针对多个不同听音情形进行优化。存储器MEM还可包括根据本发明的绝对或相对声学传递函数或脉冲响应的数据库(Ol,Hl)。在特定运行模式下,来自传声器的两个以上电输入信号组合以提供通过将适当的(例如复数)权重应用于(至少部分)相应信号而提供的波束成形信号。波束形成器权重优选按本发明中提出的进行个人化。
衬底SUB还包括可配置的信号处理器DSP(如数字信号处理器),例如包括用于应用随频率和电平而变的增益的处理器,例如提供听力装置的波束形成、降噪、滤波器组功能及其它数字功能,例如实施根据本发明的特征。可配置的信号处理器DSP适于访问存储器MEM以例如选择当前配置或运行模式和/或听音情形的适当参数和/或将数据写入存储器(例如算法参数,例如用于记录用户行为)和/或用于访问根据本发明的绝对或相对声学传递函数或脉冲响应的数据库(Ol,Hl)。可配置的信号处理器DSP还配置成基于当前选择(启动)的助听器程序/参数设置(例如自动选择,如基于一个或多个传感器,或者基于来自用户接口的输入进行选择)处理一个或多个电输入音频信号和/或一个或多个直接接收的辅助音频输入信号。所提及的功能单元(及其它元件)可根据所涉及的应用按电路和元件进行划分(例如为了尺寸、功耗、模拟-数字处理、可接受的潜伏时间等),例如集成在一个或多个集成电路中,或者作为一个或多个集成电路与一个或多个单独的电子元件(如电感器、电容器等)的组合。可配置的信号处理器DSP提供处理后的音频信号,其计划呈现给用户。衬底还包括前端IC(FE),用于使可配置的信号处理器DSP与输入和输出变换器等接口连接及通常包括模拟与数字信号之间的接口(例如到传声器和/或扬声器及可能到传感器/检测器的接口)。输入和输出变换器可以是个别分开的元件,或者与其它电子电路集成(例如基于MEMS)。
该听力装置HD还包括输出单元(如输出变换器),用于基于来自处理器的处理后的音频信号或源自其的信号提供可由用户感知为声音的刺激。在图8的听力装置实施例中,ITE部分包括扬声器(也称为接收器)SPK形式的输出单元(的至少一部分),用于将电信号转换为声学(空气传播)信号,其(在听力装置安装在用户耳朵处时)被导向耳膜从而在那里提供声音信号(SED)。ITE部分还包括引导元件如圆顶件DO,用于引导并将ITE部分定位在用户的耳道中。在图8的实施例中,ITE部分还包括另一输入变换器如传声器(MITE),用于提供代表耳道处的输入声音信号(SITE)的电输入音频信号。声音(SITE)从环境经通过半开放圆顶件DO的直接声学通路到耳鼓处的残余腔的传播在图8中通过虚线箭头标示(记为直接通路)。直接传播的声音(由声场Sdir标示)与来自听力装置HD的声音(由声场SHI标示)混合为耳鼓处的合成声场(SED)。ITE部分可包括(可能定制的)耳模,用于提供与用户的耳道的相当紧密的配合。耳模可包括通风通道以提供来自耳模与耳膜之间的残余腔的声音的(受控)泄漏(从而管理堵耳效应)。
(来自输入变换器MBTE1,MBTE2,MITE的)电输入信号可在时域或(时-)频域(或部分在时域及部分在频域,如果被认为对于所涉及应用有利)进行处理。
所有三个传声器(MBTE1,MBTE2,MITE)或者三个传声器中的两个(MBTE1,MITE)可包括在根据本发明的头部相关传递函数的“个人化”程序中。“前面的”BTE传声器MBTE1可被选择为参考传声器,及“后面的”BTE传声器MBTE2和/或ITE传声器MITE可被选择为针对其可由听力系统测量相对自我话音传递函数的普通传声器。由于听力装置传声器(MBTE1,MBTE2,MITE)相对于听力装置用户的自我话音位于声学近场中,对于相应传声器处接收到的自我话音声音,可能体验到相当大的电平差。因而,相对传递函数可实质上不同于1。
在图8的实施例中,连接件IC包括用于连接BTE部分和ITE部分的电元件的电导体。连接件IC可包括电连接器CON以将线缆IC连接到BTE部分中的匹配的连接器。在另一实施例中,连接件IC为声管,及扬声器SPK位于BTE部分中。在又一实施例中,听力装置不包括BTE部分,而是整个听力装置被包围在耳模(ITE部分)中。
图8中例示的听力装置HD的实施例为便携装置,其包括电池BAT如可再充电电池,其例如基于锂离子电池技术,例如用于对BTE部分可能及ITE部分的电子元件供电。在实施例中,听力装置如助听器适于提供随频率而变的增益和/或随电平而变的压缩和/或移频(具有或没有一个或多个频率范围到一个或多个其它频率范围的频率压缩),例如以补偿用户的听力受损。BTE部分例如可包括连接器(如DAI或USB连接器),用于将具有附加的功能的“靴”(如FM靴或备用电池等)或者编程装置或者充电器等连接到听力装置HD。作为备选或另外,听力装置可包括用于对听力装置进行编程和/或充电的无线接口。
图9示出了估计听力系统佩戴者的个人化声学远场传递函数的方法实施例的流程图。
一方面,本申请提出用于从关于个人自我话音传递函数的信息估计个人化波束形成器系数的离线或在线程序。该程序包括:
A.使用位于用户耳朵处的传声器,非必须地,及使用位于用户嘴巴处的近讲传声器,测量自我话音传递函数;
B.将测得的自我话音传递函数映射到一组绝对或相对头部相关传递函数;
C.从该组头部相关传递函数计算个人化波束形成器系数。
在实施例中,提供用于估计包括多个传声器的听力系统的个人化波束形成器权重的方法,多个传声器之一记为参考传声器,听力系统配置成由特定用户佩戴。所述方法包括:
S1,提供表示用户环境中、听力系统的传声器位置处的声音的至少两个电输入信号,来自参考传声器的电输入信号记为参考传声器信号;
S2,提供标示至少两个电输入信号或其处理后版本是否或者以何种概率包括来自听力系统用户的话音的自我话音控制信号;
S3,提供不同于用户的多个测试人员的绝对或相对声学传递函数或脉冲响应或者其任何变换形式的数据库(Ol,Hl),或者提供对所述数据库(Ol,Hl)的访问,对于所述多个测试人员中的每一测试人员,
S3a,在所述数据库(Ol,Hl)中提供声音从所述多个测试人员中的给定测试人员的嘴巴到所述给定测试人员佩戴的传声器系统的多个传声器中的至少一个的相对或绝对自我话音传递函数或脉冲响应或者其任何变换形式;及
S3b,在所述数据库(Ol,Hl)中提供从不同于给定测试人员嘴巴的至少一空间位置到所述给定测试人员佩戴的传声器系统的至少一传声器的相对或绝对头部相关声学传递函数或脉冲响应;
S4,根据所述至少两个电输入信号或其处理后版本以及所述自我话音控制信号估计从用户嘴巴到听力系统的所述至少两个传声器中的至少一个的声音的自我话音相对传递函数;及
S5,根据估计的自我话音相对传递函数和所述数据库(Ol,Hl)估计从不同于用户嘴巴的至少一空间位置到用户佩戴的听力系统的至少一传声器的个人化相对或绝对头部相关声学传递函数或脉冲响应;及
S6,基于个人化相对或绝对头部相关声学传递函数(HRTFl*)或脉冲响应(HRIRl*)确定波束形成器的个人化波束形成器权重(wk,user),所述波束形成器配置成接收所述至少两个电输入信号或其处理后版本。
当由对应的过程适当代替时,上面描述的、“具体实施方式”中详细描述的及权利要求中限定的装置的结构特征可与本发明方法的步骤结合。
除非明确指出,在此所用的单数形式“一”、“该”的含义均包括复数形式(即具有“至少一”的意思)。应当进一步理解,说明书中使用的术语“具有”、“包括”和/或“包含”表明存在所述的特征、整数、步骤、操作、元件和/或部件,但不排除存在或增加一个或多个其他特征、整数、步骤、操作、元件、部件和/或其组合。应当理解,除非明确指出,当元件被称为“连接”或“耦合”到另一元件时,可以是直接连接或耦合到其他元件,也可以存在中间插入元件。如在此所用的术语“和/或”包括一个或多个列举的相关项目的任何及所有组合。除非明确指出,在此公开的任何方法的步骤不必须精确按所公开的顺序执行。
应意识到,本说明书中提及“一实施例”或“实施例”或“方面”或者“可”包括的特征意为结合该实施例描述的特定特征、结构或特性包括在本发明的至少一实施方式中。此外,特定特征、结构或特性可在本发明的一个或多个实施方式中适当组合。提供前面的描述是为了使本领域技术人员能够实施在此描述的各个方面。各种修改对本领域技术人员将显而易见,及在此定义的一般原理可应用于其他方面。
权利要求不限于在此所示的各个方面,而是包含与权利要求语言一致的全部范围,其中除非明确指出,以单数形式提及的元件不意指“一个及只有一个”,而是指“一个或多个”。除非明确指出,术语“一些”指一个或多个。
因而,本发明的范围应依据权利要求进行判断。
参考文献
·[Moore;2019]A.H.Moore,J.M.de Haan,M.S.Pedersen,P.A.Naylor,M.Brookes,and J.Jensen,Personalized Signal-Independent Beamforming forBinaural Hearing Aids,J.Acoust.Soc.Am.,Vol.145,No.5,pp.2971-2981,April 2019.
·[Loizou;2013]P.C.Loizou,Speech Enhancement–Theory and Practice,CRCPress,2nd edition,2013.
·[Brandstein;2001]M.Brandstein,D.Ward(Eds.),Microphone Arrays–SignalProcessing Techniques and Applications,Springer 2001.
·[Marquardt;2015]Development and evaluation of psychoacousticallymotivated binaural noise reduction and cue preservation techniques,PhDThesis,University of Oldenburg,Germany,November 2015.
·EP2928215A1(Oticon A/S)07.10.2015.
Claims (15)
1.配置成位于用户头部处或头部中的听力系统,所述听力系统包括:
-至少两个传声器,其中之一记为参考传声器,每一传声器用于将来自听力系统环境的声音转换为表示所涉及传声器位置处接收的声音的电输入信号;
-自我话音检测器,配置成估计至少两个电输入信号或其处理后版本是否或者以何种概率包括来自听力系统用户的话音,及提供标示该估计的自我话音控制信号;
-存储器,其中存储有多个测试人员的绝对或相对声学传递函数或脉冲响应或者其任何变换形式的数据库(Ol,Hl),或者使能访问所述数据库(Ol,Hl)的收发器;对于所述多个测试人员中的每一测试人员,所述数据库(Ol,Hl)包括
--从所述多个测试人员中的给定测试人员的嘴巴到所述给定测试人员佩戴的传声器系统的至少一传声器的声音的相对或绝对自我话音传递函数或脉冲响应或者其任何变换形式;及
--从不同于给定测试人员嘴巴的至少一空间位置到所述给定测试人员佩戴的传声器系统的至少一传声器的相对或绝对头部相关声学传递函数或脉冲响应;
-连接到或者可连接到所述至少两个传声器、所述自我话音检测器和所述数据库的处理器,所述处理器配置成
--根据所述至少两个电输入信号或其处理后版本以及所述自我话音控制信号估计从用户嘴巴到所述至少两个传声器中的至少一个的声音的自我话音相对传递函数;及
--根据估计的自我话音相对传递函数和所述数据库(Ol,Hl)估计从不同于用户嘴巴的至少一空间位置到用户佩戴的听力系统的至少一传声器的个人化相对或绝对头部相关声学传递函数或脉冲响应或者其任何变化形式;
-波束形成器,配置成接收所述至少两个电输入信号或其处理后版本并基于个人化相对或绝对头部相关声学传递函数或脉冲响应或者其任何变化形式确定个人化波束形成器权重。
2.根据权利要求1所述的听力系统,包括根据至少两个电输入信号或其处理后版本检测或估计当前信号质量的检测器或估计器。
3.根据权利要求2所述的听力系统,包括用于提供信噪比的估计量的SNR估计器。
4.根据权利要求1所述的听力系统,其中由所述多个测试人员佩戴的传声器系统包括与听力系统的至少两个传声器位于同样位置的传声器。
5.根据权利要求1所述的听力系统,其中处理器包括相对自我话音传递函数估计器,用于估计相对自我话音传递函数向量OVTk,user,其元素为声音从用户嘴巴到听力系统的至少两个传声器中的每一个的相对传递函数。
6.根据权利要求1所述的听力系统,包括自我话音功率谱密度估计器,配置成提供给定时间点的自我话音功率谱密度向量Sk的估计量。
7.根据权利要求1所述的听力系统,包括个人化头部相关传递函数估计器,用于从估计的自我话音传递函数向量OVTk,user和所述数据库(Ol,Hl)估计个人化相对或绝对头部相关声学传递函数dk,user或脉冲响应。
8.根据权利要求6所述的听力系统,其中相对自我话音传递函数向量OVTk,user从输入的自我话音功率谱密度向量Sk估计为OVTk,user=sqrt(Sk/Sk,iref),其中iref指所述至少两个传声器中的参考传声器。
9.根据权利要求1所述的听力系统,包括经训练的神经网络,用于将估计的相对自我话音传递函数向量OVTk,user用作输入向量而确定个人化头部相关传递函数。
10.根据权利要求1所述的听力系统,由助听器、头戴式耳机、耳麦、耳朵保护装置或其组合构成或者包括助听器、头戴式耳机、耳麦、耳朵保护装置或其组合。
11.用于听力系统的个人化波束形成器权重的估计方法,听力系统包括至少两个传声器,其中之一记为参考传声器,听力系统配置成由特定用户佩戴,所述方法包括:
-提供表示用户环境中、听力系统的传声器位置处的声音的至少两个电输入信号,来自参考传声器的电输入信号记为参考传声器信号;
-提供标示至少两个电输入信号或其处理后版本是否或者以何种概率包括来自听力系统用户的话音的自我话音控制信号;
-提供不同于用户的多个测试人员的绝对或相对声学传递函数或脉冲响应或者其任何变换形式的数据库(Ol,Hl),或者提供对所述数据库(Ol,Hl)的访问,对于所述多个测试人员中的每一测试人员,
--在所述数据库(Ol,Hl)中提供声音从所述多个测试人员中的给定测试人员的嘴巴到所述给定测试人员佩戴的传声器系统的至少两个传声器中的至少一个的相对或绝对自我话音传递函数或脉冲响应或者其任何变换形式;及
--在所述数据库(Ol,Hl)中提供从不同于给定测试人员嘴巴的至少一空间位置到所述给定测试人员佩戴的传声器系统的至少一传声器的相对或绝对头部相关声学传递函数或脉冲响应;
-根据所述至少两个电输入信号或其处理后版本以及所述自我话音控制信号估计从用户嘴巴到听力系统的所述至少两个传声器中的至少一个的声音的自我话音相对传递函数;
-根据估计的自我话音相对传递函数和所述数据库(Ol,Hl)估计从不同于用户嘴巴的至少一空间位置到用户佩戴的听力系统的至少一传声器的个人化相对或绝对头部相关声学传递函数或脉冲响应或其任何变换形式;及
-基于个人化相对或绝对头部相关声学传递函数(HRTFl*)或脉冲响应(HRIRl*)或者其任何变化形式确定波束形成器的个人化波束形成器权重(wk,user),所述波束形成器配置成接收所述至少两个电输入信号或其处理后版本。
12.根据权利要求11所述的方法,其中波束形成器为双耳波束形成器,其基于来自位于用户的左耳和右耳处的至少两个传声器的电输入信号。
13.根据权利要求11所述的方法,包括:
-根据预定判据将相对自我话音传递函数(OVTuser)或脉冲响应映射到来自所述数据库(Ol,Hl)的、所述多个测试人员之中的特定测试人员的绝对或相对自我话音传递函数(OVTl*)或脉冲响应;及
-根据所述数据库(Ol,Hl)中存储的所述特定测试人员的绝对或相对远场头部相关传递函数(HRTFl*)得出所述用户的估计的绝对或相对远场头部相关传递函数(HRTFuser)。
14.根据权利要求11所述的方法,其中预定判据包括价值函数的最小化。
15.根据权利要求11所述的方法,包括基于个人化波束形成器权重提供波束成形信号。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP19213181 | 2019-12-03 | ||
EP19213181.1 | 2019-12-03 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112911477A true CN112911477A (zh) | 2021-06-04 |
Family
ID=68766630
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011401955.XA Pending CN112911477A (zh) | 2019-12-03 | 2020-12-03 | 包括个人化波束形成器的听力系统 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11582562B2 (zh) |
EP (1) | EP3833043B1 (zh) |
CN (1) | CN112911477A (zh) |
DK (1) | DK3833043T3 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020115721A1 (en) * | 2018-12-08 | 2020-06-11 | Smart Sound Ltd. | Hidden cochlear implant |
CN116301195B (zh) * | 2023-05-16 | 2023-09-05 | 湖南工商大学 | 函数波束优化方法与装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102005032274B4 (de) * | 2005-07-11 | 2007-05-10 | Siemens Audiologische Technik Gmbh | Hörvorrichtung und entsprechendes Verfahren zur Eigenstimmendetektion |
FR2958825B1 (fr) * | 2010-04-12 | 2016-04-01 | Arkamys | Procede de selection de filtres hrtf perceptivement optimale dans une base de donnees a partir de parametres morphologiques |
EP2563044B1 (en) * | 2011-08-23 | 2014-07-23 | Oticon A/s | A method, a listening device and a listening system for maximizing a better ear effect |
WO2013064943A1 (en) * | 2011-11-01 | 2013-05-10 | Koninklijke Philips Electronics N.V. | Spatial sound rendering system and method |
EP2928211A1 (en) | 2014-04-04 | 2015-10-07 | Oticon A/s | Self-calibration of multi-microphone noise reduction system for hearing assistance devices using an auxiliary device |
CN107864440B (zh) * | 2016-07-08 | 2022-02-08 | 奥迪康有限公司 | 包括eeg记录和分析系统的助听系统 |
US10278002B2 (en) * | 2017-03-20 | 2019-04-30 | Microsoft Technology Licensing, Llc | Systems and methods for non-parametric processing of head geometry for HRTF personalization |
EP3684074A1 (en) * | 2019-03-29 | 2020-07-22 | Sonova AG | Hearing device for own voice detection and method of operating the hearing device |
-
2020
- 2020-11-27 DK DK20210269.5T patent/DK3833043T3/da active
- 2020-11-27 EP EP20210269.5A patent/EP3833043B1/en active Active
- 2020-12-02 US US17/109,329 patent/US11582562B2/en active Active
- 2020-12-03 CN CN202011401955.XA patent/CN112911477A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US20210168518A1 (en) | 2021-06-03 |
EP3833043A1 (en) | 2021-06-09 |
DK3833043T3 (da) | 2022-12-12 |
EP3833043B1 (en) | 2022-10-19 |
US11582562B2 (en) | 2023-02-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10966034B2 (en) | Method of operating a hearing device and a hearing device providing speech enhancement based on an algorithm optimized with a speech intelligibility prediction algorithm | |
US11540063B2 (en) | Hearing device comprising a detector and a trained neural network | |
CN110636429B (zh) | 包括声学事件检测器的听力装置 | |
CN107360527B (zh) | 包括波束形成器滤波单元的听力装置 | |
CN110740412B (zh) | 包括语音存在概率估计器的听力装置 | |
US11510019B2 (en) | Hearing aid system for estimating acoustic transfer functions | |
CN111432318B (zh) | 包括直接声音补偿的听力装置 | |
CN110602620B (zh) | 包括自适应声源频率降低的听力装置 | |
CN113891225A (zh) | 听力装置的算法参数的个人化 | |
US11582562B2 (en) | Hearing system comprising a personalized beamformer | |
US10757511B2 (en) | Hearing device adapted for matching input transducers using the voice of a wearer of the hearing device | |
US20230388721A1 (en) | Hearing aid system comprising a sound source localization estimator | |
US20240114296A1 (en) | Hearing aid comprising a speaker unit | |
US11950057B2 (en) | Hearing device comprising a speech intelligibility estimator | |
US12028685B2 (en) | Hearing aid system for estimating acoustic transfer functions |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |