CN115226016A - 包括通信接口的听力装置或系统 - Google Patents
包括通信接口的听力装置或系统 Download PDFInfo
- Publication number
- CN115226016A CN115226016A CN202210397429.3A CN202210397429A CN115226016A CN 115226016 A CN115226016 A CN 115226016A CN 202210397429 A CN202210397429 A CN 202210397429A CN 115226016 A CN115226016 A CN 115226016A
- Authority
- CN
- China
- Prior art keywords
- signal
- hearing device
- electrical input
- hearing
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004891 communication Methods 0.000 title abstract description 24
- 238000012545 processing Methods 0.000 claims description 155
- 230000005236 sound signal Effects 0.000 claims description 43
- 238000000034 method Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 10
- 238000013442 quality metrics Methods 0.000 claims description 10
- 230000001934 delay Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 description 43
- 238000004458 analytical method Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 14
- 230000005540 biological transmission Effects 0.000 description 12
- 238000005070 sampling Methods 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000002156 mixing Methods 0.000 description 7
- 230000015572 biosynthetic process Effects 0.000 description 6
- 230000001419 dependent effect Effects 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 6
- 238000003786 synthesis reaction Methods 0.000 description 6
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 210000000988 bone and bone Anatomy 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000003111 delayed effect Effects 0.000 description 4
- 208000016354 hearing loss disease Diseases 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 239000000243 solution Substances 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 239000007943 implant Substances 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 3
- 206010011878 Deafness Diseases 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 210000000613 ear canal Anatomy 0.000 description 2
- 230000010370 hearing loss Effects 0.000 description 2
- 231100000888 hearing loss Toxicity 0.000 description 2
- 230000001939 inductive effect Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 210000003454 tympanic membrane Anatomy 0.000 description 2
- 208000032041 Hearing impaired Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 239000003637 basic solution Substances 0.000 description 1
- 230000001055 chewing effect Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 210000003625 skull Anatomy 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 210000001260 vocal cord Anatomy 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
- H04R25/505—Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
- H04R25/505—Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
- H04R25/507—Customised settings for obtaining desired overall acoustical characteristics using digital signal processing implemented by neural network or fuzzy logic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/40—Arrangements for obtaining a desired directivity characteristic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/43—Electronic input selection or mixing based on input signal analysis, e.g. mixing or selection between microphone and telecoil or between microphones with different directivity characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/48—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using constructional means for obtaining a desired frequency response
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
- H04R25/554—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired using a wireless connection, e.g. between microphone and amplifier or using Tcoils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/60—Mounting or interconnection of hearing aid parts, e.g. inside tips, housings or to ossicles
- H04R25/604—Mounting or interconnection of hearing aid parts, e.g. inside tips, housings or to ossicles of acoustic or vibrational transducers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
- H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
- H04R2225/43—Signal processing in hearing aids to enhance the speech intelligibility
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
- H04R2225/51—Aspects of antennas or their circuitry in or for hearing aids
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
- H04R2225/55—Communication between hearing aids and external devices via a network for data exchange
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- General Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Otolaryngology (AREA)
- Neurosurgery (AREA)
- Health & Medical Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Automation & Control Theory (AREA)
- Artificial Intelligence (AREA)
- Fuzzy Systems (AREA)
- Evolutionary Computation (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
本申请公开了包括通信接口的听力装置或系统,其中所述听力装置包括至少一输入变换器、无线接收器和处理器;所述处理器配置成接收至少一声学接收的电输入信号、接收无线接收的电输入信号及提供处理后的信号;所述处理器包括:信号预测器,用于根据所述无线接收的电输入信号的多个过去值估计所述无线接收的电输入信号的将来值从而提供预测的信号;输出变换器,用于根据来自所述处理器的所述处理后的信号或者其进一步处理后的版本将可感知为声音的输出刺激呈现给用户;其中,所述处理器配置成根据预测的信号或其处理后版本单独地或者与所述至少一声学接收的电输入信号或其处理后版本混合地提供所述处理后的信号。
Description
技术领域
本发明涉及听力系统或听力装置,例如助听器或耳机或类似的便携音频处理装置。
背景技术
听力系统如(例如包括一个或两个助听器的)助听器(HA)系统可连接到一个或多个外部无线传声器例如桌上传声器等(从而例如有利于助听器用户感知来自用户环境中的讲话者的语音)。在无线传声器拾取感兴趣的声音时,该信号在以电磁方式传给HA之前被缓存、编码及可能分包。该过程使感兴趣的声音信号延迟。精确的延迟为无线系统中使用的音频编码算法和传输方案(例如可以是蓝牙或UWB协议)的函数。然而,引入的延迟可能十分明显,即10ms的几倍。如果这样延迟的声音信号被呈现给助听器用户,可导致视听同步问题,例如读唇,和/或因直接声音早得多地到达用户耳膜引起的梳齿滤波器效应。换言之,这样的延迟对于实时处理/呈现给佩戴HA的用户实质上无用地递送接收到的声音信号。
发明内容
一方面,本发明例如涉及外部声音捕获装置如无线传声器将音频传给听力装置如助听器及该信号在听力装置中基于无线接收的信号进行预测的情形。经听力装置的扬声器呈现给用户的信号则可为预测的信号,或者a)预测的信号与b)声学接收的信号(由听力装置的传声器拾取)的混合。混合可基于频率范围级(例如频带级)并可随时间(例如根据信号质量估计量)变化。
不是估计增强的信号,我们也可(跨时间和频率)估计增益,当其与信号相乘时增强信号的需要的部分并降低噪声。我们也可预测这样的增益信号的将来值。信号预测器可配置成根据输入信号的多个过去的值和/或增益信号的过去的值估计降噪增益信号的将来值。
在实施例中,经听力装置的扬声器呈现给用户的信号可以是a)预测的信号,b)声学接收的信号(由听力装置的传声器拾取),及c)来自声音捕获装置的(非预测的)无线接收的信号的混合。来自预测的信号a)的信号分量理想地“按时”和“纯净”;来自声学接收的信号b)的信号分量“按时”但有噪声;及来自无线接收的(非预测的)信号c)的信号分量“不按时”(以前的)及“纯净”。在某些情形(时间段)和/或频率范围呈现以前的信号分量而不是有噪声(或预测)的信号分量可能有用。这可取决于信号质量度量(例如信噪比(SNR)或语音可懂度(SI)指数)。
在另一方面,本发明提供听力装置或系统如助听器,其包括配置成佩戴在用户耳朵处或耳朵中的至少一耳件,及包括(与耳件通信的)单独的音频处理装置。耳件或音频处理装置可包括信号预测器,用于根据声学接收的信号的多个过去的值估计所述(耳件中原始接收的)信号或其处理后版本的将来值,从而提供预测的信号。信号预测器的目标是补偿或减小因处理在外部处理装置中进行引起的延迟。信号预测器可配置成完全或部分补偿因下述之一或多个例如全部引起的处理延迟:a)声学接收的电输入信号从听力装置到音频处理装置的传输,b)音频处理装置中的处理,及c)预测的信号或其处理后版本到所述耳件的传输及其在耳件中的接收。
在本发明中,提出可使接收到的声音信号(的部分)对HA处的实时处理不管怎样均有用的解决方案,实际上,所提出的解决方案为一般方案并可发现在非常大范围的无线音频应用中的应用。我们的基本解决方案基于给定目前信号预测声音信号的将来部分的想法。使用预测算法在听力装置中解决消除到达耳膜的声学传播的声音的问题例如已在EP3681175A1中涉及。
听力装置
在本申请的一方面,提供听力装置如助听器。该听力装置包括:
-至少一输入变换器,用于将听力装置的环境中的声音转换为相应的表示所述声音的至少一声学接收的电输入信号;
-无线接收器,用于从拾取所述环境中的声音的声音捕获装置的无线发射器接收音频信号并提供表示所述声音的无线接收的电输入信号;
-处理器,配置成
--接收所述至少一声学接收的电输入信号或其处理后版本;
--接收所述无线接收的电输入信号;及
--提供处理后的信号。
处理器可包括信号预测器,用于根据所述无线接收的电输入信号的多个过去值估计所述信号的将来值(或者估计将应用于所述信号的增益的将来值)从而提供预测的信号。
听力装置还包括输出变换器,用于根据来自所述处理器的所述处理后的信号或者其进一步处理后的版本将可感知为声音的输出刺激呈现给用户。
处理器可配置成根据预测的信号或其处理后版本以下述方式提供所述处理后的信号:
-单独地,或者
-与所述至少一声学接收的电输入信号或其处理后版本混合地。
经听力装置的输出变换器(如扬声器)呈现给用户的信号(处理后的信号)可以是a)预测的信号,b)至少一声学接收的电输入信号(由听力装置的至少一输入变换器(如传声器)拾取),及c)(从声音捕获装置接收的)(非预测的)无线接收的电输入信号的混合。在某些情形(时间段)和/或频率范围可进行呈现以前的(非预测的但纯净的)信号分量而不是有噪声(或预测)的(但按时的)信号分量的折中。混合可根据信号质量度量(例如信噪比(SNR)或语音可懂度(SI)指数,和/或语音存在概率(SPP)指数)进行,例如基于频带级。
从而,可提供提高来自环境的流传输的声音的利用的听力装置。
术语“或其处理后版本”在本说明书中意为已遭受处理算法的原始音频信号,处理算法将增益或衰减应用于原始音频信号,导致修改的音频信号(优选在一定意义上增强,例如相对于目标信号降低的噪声)。然而,其也覆盖从原始音频信号“提取的特征或参数”(例如增益或质量参数等)。
听力装置可配置成由用户佩戴。听力装置(或其一部分)可配置成位于用户耳朵处或耳朵中。听力装置可包括几个分开的部分,例如一部分适于位于耳朵处或耳朵中,另一部分适于位于用户身体上的别处,两个部分配置成经有线或无线通信链路彼此通信。
声音捕获装置例如可以是“无线传声器”或者包括传声器的具有音频传输能力的装置。声音捕获装置例如可以是双耳听力系统(例如双耳助听器系统)的对侧听力装置(例如助听器)。
术语“混合”在本说明书中意为声学信号的部分完全被预测的信号代替,或者二者组合,例如线性或非线性组合,例如组合为时域的加权混合,例如随时间变化。此外,混合可在频域发生,使得声学信号的部分(如全部)频带与预测的信号的部分(如全部)频带混合。混合时使用的频带(的数量)可跨时间变化,例如按预测的信号的质量估计量的函数变化(例如根据估计的质量度量加权,使得具有相对高质量度量(如SNR)的时频单元比具有相对低质量度量的时频单元的权重高)。
处理器可包括延迟估计器,配置成估计来自所述环境中的给定声源的声音在下述信号之间的、到达所述处理器的时间差:
-声学接收的电输入信号或其处理后版本;及
-无线接收的电输入信号。
到达时间差(T)可馈给信号预测器以确定信号预测器的预测时间段。到达时间差(T)例如可通过使声学接收的信号与无线接收的信号相关而进行确定。作为备选或另外,延迟估计器可基于超宽带技术。
作为备选,信号预测器可位于声音捕获装置中。在该情形下,听力装置应配置成将到达时间差(TDOA,例如参见图4中的信号T)传给声音捕获装置,具体地,a)声学接收的电输入信号或其处理后版本与b)无线接收的电输入信号之间的TDOA。
听力装置可包括用于向另一装置传输数据的无线发射器。无线发射器可配置成传输音频信号(例如声学接收的电输入信号或其处理后版本(例如低通滤波版本,和/或例如变换后的信号,在该情形下,“信号”可按变换系数进行传输)),或者信息或控制信号例如来自环境中的给定声源的声音到达处理器的时间差(T)。处理器或其一部分可位于不同于位于耳朵处的部分(耳件)的另一装置中。听力装置例如可包括适于位于耳朵处的耳件及适于由用户佩戴或携带(要不然可由耳件访问)的处理装置,例如参见图6A、6B、6C。
处理器可包括选择控制器,配置成根据声音质量度量将估计的预测的信号或其部分包括在处理后的信号中。预测的信号可包括在将在预测的信号满足声音质量判据(例如声音质量度量大于阈值)的时间区域呈现给用户的信号中。例如,如果信噪比(SNR)足够高,可简单地用预测的信号替代在听力装置的传声器处拾取的(有噪声的)声学接收的电输入信号,例如在预测的信号的SNR高于声学接收的电输入信号的SNR(由听力装置的机载SNR估计算法估计)的信号区域如时间区域或时频区域中。声学接收的电输入信号、无线接收的电输入信号及预测的信号可为时域信号(通过相应的数字音频样本流表示)。
听力装置可包括变换单元或者可包括相应的变换单元,用于在变换域提供至少一声学接收的电输入信号或其处理后版本和/或无线接收的电输入信号。变换域例如可以是频域,例如短时傅里叶变换(STFT)域。其它变换域可以是拉普拉斯(Laplace)域、余弦变换域、小波变换域等。无线接收的电输入信号可能已经处于变换域中,如由无线接收器提供的。
可预见其它非线性映射,严格地讲,其并非变换。例如,信号可通过神经网络非线性地映射到一些“内域(inner domain)”,预测/信号替代可在该内域发生,随后,所得的时域信号可通过应用大约相反的从内域到时域的映射而进行重构。执行这些非线性映射的神经网络可以是自动编码器网络。
变换单元可配置成在频域提供信号。变换单元例如可以是或包括分析滤波器组或者傅里叶变换算法如离散傅里叶变换(DFT)算法、短时傅里叶变换(STFT)算法或类似算法。从而,信号处理可在子频带中或者按时频表示(m,q)执行,其中m和q分别为时间和频率指数。子频带或时频表示(m,q)例如可覆盖正常人听觉频率范围(从20Hz到20kHz)的至少一部分。
信号预测器可配置成基于信号的过去值估计变换域例如频域(或时频域)的无线接收的电输入信号的将来值。
处理器可配置成仅在听力装置的工作频率范围的有限部分将无线接收的电输入信号的估计的将来值包括在处理后的信号中。听力装置的工作频率范围为正常人听觉频率范围(20Hz到20kHz)的一部分,例如高达12kHz或高达10kHz或高达8kHz。该频率范围的有限部分例如可以是或包括低频部分,例如低于4kHz如低于2kHz如低于1kHz的频率。
听力装置的工作频率范围的有限部分可预先确定,例如在使用听力装置之前确定,例如适应用户的听力情况(如听力图)。听力装置的工作频率范围的有限部分可(随时间)自适应确定,例如根据预测的信号的声音质量参数或者判据(可能与至少一声学接收的电输入信号的声音质量参数比较)。声音质量判据可基于SNR估计量或者估计声音质量的类似参数。
处理器如选择控制器可配置成使得部分时频单元如STFT单元被代替以及部分不被代替。且代替的STFT单元不需要全部连接(彼此直接相邻)。
处理后的信号可仅在满足声音质量判据的频带或时频区域中包括无线接收的电输入信号的将来值。例如,可在频道(如低频频道)分解和替代预测的信号(z(n)),因为已知预测的信号的质量通常好于(有噪声的)助听器传声器信号。用预测的部分替代声学接收的信号部分可根据时频窗口中的SNR的估计量在时频域进行:
其中s(m,q)和e(m,q)指信号s(n)和e(n)的时频表示(例如短时傅里叶变换),其中s(n)为无线接收的电输入信号,e(n)为预测时的估计误差(在预测的信号z(n)被写为z(n)=s(n)+e(n)时),T’为无线接收的信号相较于声学接收的信号的(在时间单元m’的)延迟,K’-1为预测所基于的过去时间单元(m’)的数量,m(m’)和q分别为时间指数和频率指数。
其中0≤α≤1,α可以是预测的信号质量估计参数的函数,Z(m,q)为预测的信号的TF单元,Y(m,q)(或YBF(m,q),参见图3)为声学接收的信号的TF单元。预测的信号质量估计参数(例如SNR)可随时间和频率而变。在该情形下,或者独立于其,权重参数α可随时间和频率而变。
听力装置可包括波束形成器,配置成基于至少一声学接收的电输入信号及所述预测的信号提供波束形成信号。在多个不同的波束形成方案中,预测的信号z(n)(或Z(m,q))可与听力装置的一个或多个传声器信号组合以产生最终的噪声降低的信号。在该情形下,信号z(n)被简单地视为具有目标信号的有噪声实现的又一传声器信号。
听力装置可配置成在预测的信号呈现给用户之前将空间线索应用于预测的信号。空间线索可基于外部装置(无线发射器)的位置或者基于讲话者的位置。听力装置可包括或访问来自用户周围的多个位置/方向的声学传递函数的数据库。当无线发射器或讲话者的位置已知时,可选择适当的声学传递函数并应用于预测的信号。藉此,助听器用户更容易定位接收到的声音。
听力装置可配置成仅在到达时间差大于最小值的情形下启动信号预测器。在T=TDOA小(例如为负)的情形下,不应应用预测,例如当T>0或T>5ms或T>10ms时(其中T=T1–T2,T1和T2为无线接收的信号和(“对应的”)声学接收的信号到达听力装置的时间)。尽管未应用预测,但仍可应用信号或其部分的适当替代。
包括耳件和外部音频处理装置的听力装置
本发明进一步提供一种听力装置或系统如助听器。该听力装置或系统包括:
-配置成佩戴在用户耳朵处或耳朵中的至少一耳件;及
-单独的音频处理装置。
至少一耳件包括:
-输入变换器,用于将听力装置的环境中的声音转换为表示所述声音的声学接收的电输入信号;
-无线发射器,用于将所述声学接收的电输入信号或其一部分传给所述音频处理装置;
-无线接收器,用于至少在听力装置的正常运行模式下从所述音频处理装置接收第一处理后的信号;及
-输出变换器,用于将最终的处理后的信号转换为由用户感知为声音的刺激。
音频处理装置包括:
-无线接收器,用于从耳件接收所述声学接收的电输入信号或其一部分并提供表示该信号的、接收到的信号;
-计算装置,用于处理所述接收到的信号或源自其的信号并提供第一处理后的信号;
-发射器,用于将所述第一处理后的信号传给所述耳件。
耳件或音频处理装置可包括信号预测器,用于根据所述接收到的信号的多个过去值估计所述信号或其处理后版本的将来值(或者估计将应用于所述信号的增益的将来值)从而提供预测的信号。
信号预测器可配置成完全或部分补偿因下述之一或多个例如全部引起的处理延迟:
-声学接收的电输入信号从听力装置到音频处理装置的传输;
-音频处理装置中的处理;及
-预测的信号或其处理后版本到所述耳件的传输及其在所述耳件中的接收。
至少在听力装置的正常运行模式下,最终的处理后的信号可由预测的信号的至少一部分构成或者包括预测的信号的至少一部分。
信号预测器可包括预测算法(或工作在时域,或工作在变换域例如时频域),配置成基于输入信号的过去值及输入信号的第一将来值与最后的过去值之间的处理延迟(T)的知识预测输入信号的将来值。处理延迟(T)可包括由耳件与单独的处理装置之间的无线链路引起的延迟。处理延迟(T)(还)可包括音频处理装置中的处理延迟。无线链路的处理延迟(Tlink)取决于用于建立该链路的技术(通信协议),其可以是蓝牙、低功耗蓝牙、超宽带、Zigbee、或者任何其它标准化或专有的(短程)通信技术。无线链路的处理延迟(Tlink)可进行测量或者可已知或从通信协议估计。音频处理装置的处理延迟(Tapd)取决于从接收器到发射器通过音频处理装置的音频通路的处理模块。音频处理装置的处理延迟(Tapd)已知或者可进行测量或者根据处理装置的基本数据(采样频率、处理算法等)估计。在耳件包括正向通路(例如包括信号处理单元(参见图6B、6C中的HAPep))的情形下及在正向通路的处理后的信号将与从音频处理装置接收的预测的信号混合的情形下(例如参见图6B、6C),用作音频处理装置中的信号预测器(PRED)的输入的处理延迟(T)可能小于耳件的信号处理单元的延迟。
计算装置可由信号处理器(如音频信号处理器)构成或者包括信号处理器。计算装置可配置成执行神经网络或类似的学习算法的计算。
从音频处理装置(经其间的无线链路)传给耳件的第一处理后的信号不必然必须是“音频信号”。其也可为从音频信号得出的特征。代替将音频信号传回到耳件,从音频信号得出的参数例如从预测的信号得出的增益例如可传给耳件。
术语“或其处理后版本”例如可覆盖这样的从原始音频信号提取的特征。术语“或其处理后版本”例如也可覆盖已遭受处理算法的原始音频信号,处理算法将增益或衰减应用于原始音频信号并导致修改的音频信号(优选在一定意义上增强,例如相对于目标信号降低的噪声)。
信号预测器可位于音频处理装置(如电话或专用处理装置,例如遥控装置)中(其可配置成具有比耳件多的处理能力)。然而,信号预测器可位于耳件中,例如使用来自音频处理装置的第一处理后的信号作为信号预测器的输入(因为两个装置中的总往返延迟T可假定已知,例如存储在两个装置的存储器中,或者可由两个装置获得)。
音频处理装置可包括所述信号预测器。第一处理后的信号可包括预测的信号或其处理后版本。
耳件可包括耳件计算装置,配置成处理所述声学接收的电输入信号和/或从音频处理装置接收的所述第一处理后的信号并提供所述最终的处理后的信号。耳件计算装置例如可包括数字信号处理器例如音频处理器,和/或可配置成执行神经网络或其它学习算法的计算。
听力装置可包括变换单元,配置成将所述接收到的信号转换为变换域的信号。变换域例如可以是频域如短时傅里叶变换(STFT)域。其它变换域可以是拉普拉斯域、余弦变换域、小波变换域等。听力装置例如可包括逆变换域单元,配置成将变换域的信号转换为时域信号。听力装置可包括逆变换域单元,例如逆傅里叶变换算法或者合成滤波器组。
听力装置可配置成使信号预测器在时频域工作。然而,听力装置可配置成使信号预测器在时域工作,例如通过在信号预测器之前(上游)放置逆变换域模块(如果音频信号在信号预测器之前在变换域进行处理)。
耳件计算装置至少在听力装置的正常运行模式下可配置成将声学接收的电输入信号或修改的信号与从音频处理装置接收的预测的信号混合并将混合信号作为第一处理后的信号提供给输出变换器。
耳件计算装置在耳件运行模式下(其中第一处理后的信号不从音频处理装置接收或者以次质量接收)配置成根据声学接收的输入信号将最终的处理后的信号提供给输出变换器。“耳件运行模式”假定在耳件与音频处理装置之间不能建立链路或者仅能建立信号差的链路的情形下为听力装置的默认运行模式。从而,即使不存在音频处理装置(或者无线链路故障),也可提供声学接收的电输入信号的一定的最小处理(例如基本的听力损失补偿,和/或降噪)。
单独的音频处理装置可配置成由用户佩戴或携带。作为备选,单独的音频处理装置可配置成位于桌子或其它支撑物上(例如抽屉中)。单独的音频处理装置例如可位于另一房间中,只要耳件与单独的音频处理装置之间的无线链路具有足以使能在其间以足够的质量进行数据(包括音频数据)交换的传输能力。
另一包括耳件和外部音频处理装置的听力装置
另一方面,本发明提供一种听力装置或系统。该听力装置或系统包括:
-配置成佩戴在用户耳朵处或耳朵中、接收声学信号及向用户呈现最终的处理后的信号的至少一耳件;及
-与至少一耳件通信的、单独的音频处理装置;
其中,耳件配置成将所述声学信号传给音频处理装置;
其中,音频处理装置包括信号预测器,用于根据至少一耳件接收到的声学信号的多个过去值估计所述声学信号或其处理后版本的将来值,从而提供预测的信号;及
其中,信号预测器配置成补偿或减少因处理在外部处理装置中进行引起的延迟。
音频处理装置可配置成将预测的信号或其处理后版本传给耳件,及其中所述耳件配置成根据所述预测的信号确定所述最终的处理后的信号。
信号预测器可配置成完全或部分补偿因下述之一或多个例如全部引起的处理延迟:a)声学接收的电输入信号从听力装置到音频处理装置的传输;b)音频处理装置中提供预测的信号的处理;及c)预测的信号或其处理后版本到所述耳件的传输及其在所述耳件中的接收。
其它助听器特征
下述特征也可与听力装置组合,该听力装置包括上面描述的、具体实施方式中详细描述的或权利要求中限定的耳件及外部音频处理装置。
听力装置可由空气传导型助听器、骨导型助听器、耳蜗植入型助听器或其组合构成或者包括空气传导型助听器、骨导型助听器、耳蜗植入型助听器或其组合。听力装置如助听器可包括听力仪器,例如适于位于耳朵处或者完全或部分位于用户耳道中的听力仪器,例如耳机、耳麦、耳朵保护装置或其组合。
听力装置可适于提供随频率而变的增益和/或随电平而变的压缩和/或一个或多个频率范围到一个或多个其它频率范围的移频(具有或没有频率压缩)以补偿用户的听力受损。听力装置可包括用于增强输入信号并提供处理后的输出信号的信号处理器。
听力装置可包括输出单元,用于基于处理后的电信号提供由用户感知为声学信号的刺激。输出单元可包括输出变换器。输出变换器可包括用于将刺激作为声信号提供给用户的接收器(扬声器)(例如在声学(基于空气传导的)助听器或耳机中)。输出变换器可包括用于将刺激作为颅骨的机械振动提供给用户的振动器(例如在附着到骨头的或骨锚式听力装置中)。输出变换器可包括耳蜗植入物的多个电极(对于CI型助听器)或者骨导助听器的振动器。
听力装置可包括用于提供表示声音的电输入信号的输入单元。输入单元可包括用于将输入声音转换为电输入信号的输入变换器如传声器。输入单元可包括无线接收器,用于接收包括或表示声音的无线信号并提供表示所述声音的电输入信号。无线接收器例如可配置成接收在无线电频率范围(3kHz到300GHz)的电磁信号。无线接收器例如可配置成接收在光频率范围(例如红外光300GHz到430THz或者可见光如430THz到770THz)的电磁信号。
听力装置可包括定向传声器系统,其适于对来自环境的声音进行空间滤波从而增强佩戴听力装置的用户的局部环境中的多个声源之中的目标声源。定向系统可适于检测(如自适应检测)传声器信号的特定部分源自哪一方向。这可以例如现有技术中描述的多种不同方式实现。在听力装置中,传声器阵列波束形成器通常用于空间上衰减背景噪声源。许多波束形成器变型可在文献中找到。最小方差无失真响应(MVDR)波束形成器广泛用在传声器阵列信号处理中。理想地,MVDR波束形成器保持来自目标方向(也称为视向)的信号不变,而最大程度地衰减来自其它方向的声音信号。广义旁瓣抵消器(GSC)结构是MVDR波束形成器的等同表示,其相较原始形式的直接实施提供计算和数字表示优点。
听力装置可包括天线和收发器电路,其使能建立到娱乐设备(例如电视机)、通信装置(如电话)、无线传声器或另一听力装置如助听器等的无线链路。听力装置因而可配置成从另一装置无线接收直接电输入信号。类似地,听力装置可配置成将直接电输入信号无线传给另一装置。直接电输入信号可表示或包括音频信号和/或控制信号和/或信息信号。
一般地,听力装置的天线及收发器电路建立的无线链路可以是任何类型。无线链路可以是基于近场通信的链路,例如基于发射器部分和接收器部分的天线线圈之间的感应耦合的感应链路。无线链路可基于远场电磁辐射。优选地,用于在听力装置和另一装置之间建立通信链路的频率低于70GHz,例如位于从50MHz到70GHz的范围中,例如高于300MHz,例如在高于300MHz的ISM范围中,例如在900MHz范围中或在2.4GHz范围中或在5.8GHz范围中或在60GHz范围中(ISM=工业、科学和医学,这样的标准化范围例如由国际电信联盟ITU定义)。无线链路可基于标准化或专用技术。无线链路可基于蓝牙技术(如低功耗蓝牙技术)或者超宽带(UWB)技术。从UWB,可提供关于外部设备相对于听力装置的位置的空间或方向信息。这样的信息例如到达时间延迟可用作用于预测的信息。
听力装置可以是便携式(即配置成可穿戴的)设备或形成其一部分,例如包括本地能源如电池例如可再充电电池的设备。听力装置如助听器或耳机可以是低重量、容易穿戴的设备,例如具有小于100g如小于20g的总重量。
听力装置可包括听力装置的输入和输出单元之间的、用于处理音频信号的“正向”(或“信号”)通路。信号处理器可位于该正向通路中。信号处理器可适于根据用户的特定需要提供随频率而变的增益(例如听力仪器)。听力装置可包括具有用于分析信号和/或控制正向通路的处理的功能件的“分析”通路。分析通路和/或正向通路的部分或所有信号处理可在频域进行,在该情形下,听力装置包括适当的分析和合成滤波器组。分析通路和/或正向通路的部分或所有信号处理可在时域进行。
表示声信号的模拟电信号可在模数(AD)转换过程中转换为数字音频信号,其中模拟信号以预定采样频率或采样速率fs进行采样,fs例如在从8kHz到48kHz的范围中(适应应用的特定需要)以在离散的时间点tn(或n)提供数字样本xn(或x[n]),每一音频样本通过预定的Nb比特表示声信号在tn时的值,Nb例如在从1到48比特的范围中如24比特。每一音频样本因此使用Nb比特量化(导致音频样本的2Nb个不同的可能的值)。数字样本x具有1/fs的时间长度,如50μs,对于fs=20kHz。多个音频样本可按时间帧安排。一时间帧可包括64个或128个音频数据样本。根据实际应用可使用其它帧长度。
听力装置可包括模数(AD)转换器以按预定的采样速率如20kHz对模拟输入(例如来自输入变换器如传声器)进行数字化。听力装置可包括数模(DA)转换器以将数字信号转换为模拟输出信号,例如用于经输出变换器呈现给用户。
听力装置如输入单元和/或天线及收发器电路可包括用于将时域信号转换为变换域(如频域或拉普拉斯(Laplace)域等)中的信号的变换单元。变换单元可由用于提供输入信号的时频表示的时频(TF)转换单元构成或者包括这样的时频转换单元。时频表示可包括所涉及信号在特定时间和频率范围的相应复值或实值的阵列或映射。TF转换单元可包括用于对(时变)输入信号进行滤波并提供多个(时变)输出信号的(分析)滤波器组,每一输出信号包括截然不同的输入信号频率范围。TF转换单元可包括用于将时变输入信号转换为(时-)频域中的(时变)信号的傅里叶变换单元(例如包括离散傅里叶变换(DFT)算法,或者短时傅里叶变换(STFT)算法,或类似算法)。听力装置考虑的、从最小频率fmin到最大频率fmax的频率范围可包括从20Hz到20kHz的典型人听频范围的一部分,例如从20Hz到12kHz的范围的一部分。通常,采样率fs大于或等于最大频率fmax的两倍,即fs≥2fmax。听力装置的正向通路和/或分析通路的信号可拆分为NI个(例如均匀宽度的)频带,其中NI例如大于5,如大于10,如大于50,如大于100,如大于500,至少其部分个别进行处理。听力装置可适于在NP个不同频道处理正向和/或分析通路的信号(NP≤NI)。频道可以宽度一致或不一致(如宽度随频率增加)、重叠或不重叠。
听力装置可配置成在不同模式下运行,如正常模式及一个或多个特定模式,例如可由用户选择或者可自动选择。运行模式可针对特定声学情形或环境进行优化。运行模式可包括低功率模式,其中听力装置的功能被减少(例如以便节能),例如禁用无线通信和/或禁用听力装置的特定特征。
听力装置可包括多个检测器,其配置成提供与听力装置的当前网络环境(如当前声环境)有关、和/或与佩戴听力装置的用户的当前状态有关、和/或与听力装置的当前状态或运行模式有关的状态信号。作为备选或另外,一个或多个检测器可形成与听力装置(如无线)通信的外部装置的一部分。外部装置例如可包括另一听力装置(如助听器)、遥控器、音频传输装置、电话(如智能电话)、外部传感器等。
多个检测器中的一个或多个可对全带信号起作用(时域)。多个检测器中的一个或多个可对频带拆分的信号起作用((时-)频域),例如在有限的多个频带中。
多个检测器可包括用于估计正向通路的信号的当前电平的电平检测器。检测器可配置成决定正向通路的信号的当前电平是否高于或低于给定(L-)阈值。电平检测器作用于全频带信号(时域)。电平检测器作用于频带拆分信号((时-)频域)。
听力装置可包括话音活动检测器(VAD),用于估计输入信号(在特定时间点)是否(或者以何种概率)包括话音信号。在本说明书中,话音信号可包括来自人类的语音信号。其还可包括由人类语音系统产生的其它形式的发声(如唱歌)。话音活动检测器单元可适于将用户当前的声环境分类为“话音”或“无话音”环境。这具有下述优点:包括用户环境中的人发声(如语音)的电传声器信号的时间段或(时频)分量可被识别,因而与仅(或主要)包括其它声源(如自然或人工产生的噪声)的时间段分离。话音活动检测器可适于将用户自己的话音也检测为“话音”。作为备选,话音活动检测器可适于从“话音”的检测排除用户自己的话音。
听力装置可包括自我话音检测器,用于估计特定输入声音(如话音,如语音)是否(或以何种概率)源自系统用户的话音。听力装置的传声器系统可适于能够在用户自己的话音及另一人的话音之间进行区分及可能与无话音声音区分。
多个检测器可包括运动检测器,例如加速度传感器。运动检测器可配置成检测用户面部肌肉和/或骨头的例如因语音或咀嚼(如颌部运动)引起的运动并提供标示该运动的检测器信号。
听力装置可包括分类单元,配置成基于来自(至少部分)检测器的输入信号及可能其它输入对当前情形进行分类。在本说明书中,“当前情形”可由下面的一个或多个定义:
a)物理环境(如包括当前电磁环境,例如出现计划或未计划由听力装置接收的电磁信号(包括音频和/或控制信号),或者当前环境不同于声学的其它性质);
b)当前声学情形(输入电平、反馈等);
c)用户的当前模式或状态(运动、温度、认知负荷等);
d)听力装置和/或与听力装置通信的另一装置的当前模式或状态(所选程序、自上次用户交互之后消逝的时间等)。
分类单元可基于或包括神经网络例如经训练的神经网络。
听力装置可包括声(和/或机械)反馈控制(如抑制)或者回声消除系统。自适应反馈抵消有能力跟踪反馈通路随时间的变化。其通常基于估计反馈通路的线性时不变滤波器,但滤波器权重随时间更新。滤波器更新可使用随机梯度算法进行计算,包括某一形式的最小均方(LMS)或归一化LMS(NLMS)算法。它们均具有在均方方面使误差信号最小化的性质,NLMS另外使滤波器更新关于某一参考信号的欧几里得范数的平方归一化。
听力装置还可包括用于所涉及应用的其它适宜功能,如压缩、降噪等。
听力装置如助听器可包括听力仪器例如适于位于用户耳朵处或者完全或部分位于耳道中的听力仪器,例如头戴式耳机、耳麦、耳朵保护装置或其组合。听力系统可包括喇叭扩音器(包含多个输入变换器和多个输出变换器,例如用在音频会议情形),例如包括波束形成器滤波单元,例如提供多个波束形成能力。
应用
一方面,提供如上所述的、“具体实施方式”部分中详细描述的和权利要求中限定的听力装置的应用。可提供在包括一个或多个听力装置(如听力仪器)、耳机、耳麦、主动耳朵保护系统等的系统中的应用,例如免提电话系统、远程会议系统(例如包括喇叭扩音器)、广播系统、卡拉OK系统、教室放大系统等。
听力系统
另一方面,提供包括上面描述的、“具体实施方式”中详细描述的及权利要求中限定的听力装置如助听器及包括辅助装置的听力系统。
听力系统可适于在听力装置与辅助装置之间建立通信链路以使得信息(如控制和状态信号,可能音频信号)可进行交换或者从一装置转发给另一装置。
辅助装置可包括遥控器、智能电话或者其它便携或可穿戴电子装置智能手表等。辅助装置可以是或者可包括专用处理装置(例如在听力系统正常使用期间由用户佩戴)。专用处理装置可与助听器(如耳件)通信并配置成执行助听器系统的至少部分处理,例如“功耗大的”部分和/或处理集中的部分,例如与学习算法如神经网络有关的部分。
辅助装置可由遥控器构成或者包括遥控器,其用于控制听力装置的功能和运行。遥控器的功能实施在智能电话中,该智能电话可能运行使能经智能电话控制音频处理装置的功能的APP(听力装置包括适当的到智能电话的无线接口,例如基于蓝牙或一些其它标准化或专有方案)。
辅助装置可由音频网关设备构成或者包括音频网关设备,其适于(例如从娱乐装置如TV或音乐播放器、从电话设备如移动电话或者从计算机如PC)接收多个音频信号并适于选择和/或组合所接收的音频信号中的适当信号(或信号组合)以传给听力装置。
辅助装置可由另一听力装置如助听器构成或者包括另一听力装置如助听器。听力系统可包括适于实施双耳听力系统如双耳助听器系统的两个听力装置。
APP
另一方面,本发明还提供称为APP的非短暂应用。APP包括可执行指令,其配置成在辅助装置上运行以实施用于上面描述的、“具体实施方式”中详细描述的及权利要求中限定的听力装置如助听器或听力系统的用户接口。该APP可配置成在移动电话如智能电话或另一使能与所述听力装置或听力系统通信的便携装置上运行。
本发明的实施例如可用在如与佩戴听力装置的用户的直接环境中的其它装置无线通信的听力装置的应用中。
附图说明
本发明的各个方面将从下面结合附图进行的详细描述得以最佳地理解。为清晰起见,这些附图均为示意性及简化的图,它们只给出了对于理解本发明所必要的细节,而省略其他细节。在整个说明书中,同样的附图标记用于同样或对应的部分。每一方面的各个特征可与其他方面的任何或所有特征组合。这些及其他方面、特征和/或技术效果将从下面的图示明显看出并结合其阐明,其中:
图1A示出了包括左和右助听器的助听器系统接收无线语音信号s(n-T)和声学信号s(n)的情形,其中假定无线信号晚于声学信号到达助听器(T>0);
图1B示出了无线接收的、表示语音的信号的示例性振幅-时间波形;
图1C示意性地示出了图1B的波形的时间-频率表示;
图1D示意性地示出了图1B的波形的时域表示;
图2A示意性地示出了样本中的时变模拟信号(振幅-时间)及其数字化,这些样本安排在多个时间帧中,每一时间帧包括Ns个样本;
图2B示意性地示出了图2A的时变电信号的时频表示,与根据本发明的预测算法有关;
图3示出了包括与声音捕获装置通信的、根据本发明的听力装置的听力系统的实施例;
图4示出了根据本发明的、包括信号预测器和相应的信号质量估计器的助听器的实施例;
图5示出了根据本发明的、包括信号预测器和波束形成器的助听器的实施例;
图6A示出了包括彼此通信的耳件和(例如体戴)处理装置的助听器的实施例,其中体戴处理装置包括根据本发明的信号预测器;
图6B示出了如图6A中所示的、包括耳件和(例如体戴)处理装置的助听器的实施例,但耳件还包括使来自传声器和/或来自音频处理装置的信号能被处理的处理单元,例如在耳件中提供预测的信号;
图6C示出了如图6A中所示的、包括耳件和(例如体戴)处理装置的助听器的实施例,其中耳件还包括使来自传声器和/或来自音频处理装置的信号能被处理的处理单元,其中信号预测器位于音频处理装置中(如图6A中一样)但工作在时域。
通过下面给出的详细描述,本发明进一步的适用范围将显而易见。然而,应当理解,在详细描述和具体例子表明本发明优选实施例的同时,它们仅为说明目的给出。对于本领域技术人员来说,基于下面的详细描述,本发明的其它实施方式将显而易见。
具体实施方式
下面结合附图提出的具体描述用作多种不同配置的描述。具体描述包括用于提供多个不同概念的彻底理解的具体细节。然而,对本领域技术人员显而易见的是,这些概念可在没有这些具体细节的情形下实施。装置和方法的几个方面通过多个不同的块、功能单元、模块、元件、电路、步骤、处理、算法等(统称为“元素”)进行描述。根据特定应用、设计限制或其他原因,这些元素可使用电子硬件、计算机程序或其任何组合实施。
电子硬件可包括微机电系统(MEMS)、(例如专用)集成电路、微处理器、微控制器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、选通逻辑、分立硬件电路、印刷电路板(PCB)(例如柔性PCB)、及配置成执行本说明书中描述的多个不同功能的其它适当硬件,例如用于感测和/或记录环境、设备、用户等的物理性质的传感器。计算机程序应广义地解释为指令、指令集、代码、代码段、程序代码、程序、子程序、软件模块、应用、软件应用、软件包、例程、子例程、对象、可执行、执行线程、程序、函数等,无论是称为软件、固件、中间件、微码、硬件描述语言还是其他名称。
本申请涉及听力系统如助听器或耳机领域。本申请尤其涉及听力系统的佩戴者接收来自听力系统佩戴者周围的声环境的声音的声学及电磁传输的版本。两种表示的相互到达定时有很大影响(尤其在它们的传播/处理时间不同时)。两种表示的同一声音“内容”到达用户耳朵的时间差太大(例如10-20ms以上)导致混淆和干扰,而不是改进佩戴者的感知(例如语音可懂度)。
考虑用户处于非常嘈杂的环境中的情形,目标讲话者正讲话,但用户处的SNR低,因为他或她位于距目标讲话者一定距离处,用户不能理解目标讲话者。然而,无线传声器位于桌上,非常靠近目标讲话者,并可拾取目标语音信号的实质上无噪声的版本。遗憾的是,由无线传声器拾取的实质上无噪声的信号在到达用户(因而到达用户佩戴的听力系统)时(例如)相对于直接声音延迟TD(如30ms),由于上述原因,其不能被呈现给用户。
然而,听力系统可使用接收到的(实质上纯净但延迟的)信号预测将来TD(例如30ms)时的纯净信号,该预测显然将不完美,但预测的信号的部分(尤其是低频部分)将为将来TD(例如30ms)时的实际纯净信号的良好表示。该预测的部分可有用地呈现给用户,或直接呈现,或与听力系统的传声器信号组合呈现。
此外,随时间和频率变化的增益可从预测的信号提取并应用于助听器传声器信号。该增益例如可取决于感兴趣的信号的电平,使得仅外部信号的具有高能量的时频区域被保留(低能(或低SNR)区域被衰减)。
更具体地,考虑图1A、1B、1C中所示的情形,其中目标讲话者TT的语音信号通过无线传声器Mex拾取。图1A示出了包括左和右助听器(HD1,HD2)的助听器系统接收无线语音信号s(n-T)和声学信号s(n)的情形,其中假定无线信号晚于声学信号一时间段T(例如ms)到达助听器(即T>0)。图1B示出了无线接收的(相当高质量的)语音信号s的示例性振幅-时间波形。
应注意,并非总是如此。声音花大约3ms传播1米。例如,如果声源在5米远处,通过空气的传输延迟为15ms,这样,实际上,无线传输的声音可在传声器拾取的声音之前到达。因而知道TDOA是有利的,且仅在T>0或T>5ms或T>10ms时应用预测(其中T=T1–T2,其中T1和T2为无线接收的信号和(“对应的”)声学接收的信号到达听力装置的时间,参见下面)。
在无线传声器Mex中,语音信号被编码并传给助听器用户U,在那里其在T1ms之后被接收(例如在一个或两个助听器(HD1,HD2)中,或者在与助听器通信的单独的处理装置中)。同时,从目标讲话者TT发出的声学语音信号ATS在T2ms之后在助听器的传声器处被接收。因此,无线传输的信号WTS相较于助听器用户U处接收的声学信号ATS延迟T=T1-T2。声学信号到达两个助听器(HD1,HD2)的时间之间可能有差别(等于耳间时间差ITD)(理论上,在无线传输的信号的到达时间之间同样有差别)。
在实践中,到达时间差(TDOA)T可通过有关信号之间的相似性测量进行估计,例如通过使给定助听器的声学信号和无线接收的信号相关来确定时间差T。作为备选或另外,到达时间差T可通过其它手段进行估计,例如经超宽带(UWB)技术。
在包括左和右听力仪器(例如参见图1A中的HD1,HD2)的双耳助听器配置中,TDOA可优选联合估计,例如估计为每一听力仪器的最小TDOA。作为备选,TDOA可针对每一听力仪器单独进行估计。
如果T太大例如大于10ms,无线接收的信号不能用于实时呈现给用户。在该情形下,我们建议使用助听器系统中可用的信号样本s(n-T-K+1),…,s(n-T)来预测将来样本s(n)(相对于助听器系统(HD1,HD2)中可用的信号),其中K-1为无线接收的信号的用于预测的过去样本的数量(s(n-T)为前一无线接收的样本,使得K为用于预测的样本数量)。预测可在时域或者在其它域例如(时-)频域进行。
图1C示意性地示出了图1B中所示的波形的时频域表示。图1B的时间样本被变换到频域,作为时域信号s(n)的多个(Q个)(例如复)值,例如通过傅里叶变换算法(如短时傅里叶变换STFT等)提供。在图1C中,同样的时间指数n用于时间样本和时间帧。这样做是为了举例说明简单。在实践中,多个样本如64个被包括在一时间帧中,另一方面,样本可重叠。在每一频带中,或者如图1C中所示,在较低频带中例如低于阈频fth,对于第q个频带FBq(即对于低于阈频fth的频带FB1,…FBqth),将来“样本”sq(n)基于K-1个过去样本(或者帧)sq(n-T-K+1),…,sq(n-T)进行预测。预测的值在图1C中通过时间指数n时的时频窗口的亮点阴影标示。预测的值所基于的值在图1C中通过时间指数n-T-(K-1),…,n-T时的时频窗口的黑点阴影标示。在预测限于低于阈频的低频带(FB1,…FBqth)的情形下,高于阈频fth的频带(FBqth+1,…,FBQ)可通过有噪声的传声器信号之一或者通过产生为两个以上传声器信号的组合的波束形成信号(如时间指数n时的交叉阴影线时频窗口标示的)表示。
可预见本发明概念的不同使用情形,例如下面的情形:
1)无线传声器为外部的无线传声器,例如夹在目标讲话者衣服上的传声器单元、桌上传声器、智能电话中的传声器等(例如参见图1A中的Mex);
2)“无线传声器”实际上是对侧的听力装置(HDx,x看情况=1或2),目标信号为外部声源:声音信号由左听力装置(例如HD2)拾取并发送给使用信号预测来减少潜伏时间的右听力装置(例如HD1),使得来自左听力装置(HD2)的传声器信号(的部分)可用右(HD1)传声器信号代替和/或与右传声器信号组合(更详细的描述,参见下面);
3)“无线传声器”不是传声器。我们考虑想要将计算输出到外部(处理)装置如智能电话的情形:声音信号由听力装置用户的传声器拾取,从该听力装置发送到外部装置进行计算(可能使用信号预测来减少潜伏时间),及从外部装置发送回到听力装置(可能使用信号预测来减少潜伏时间)。
基于过去样本s(n-T-K+1),…,s(n-T)预测将来样本s(n),如图1C、1D中所示。图1C示意性地示出了图1B的波形的时频表示,图1D示意性地示出了图1B的波形的时域表示。如图1D中所示,预测的信号z(n)为无线接收的信号s的K个过去样本(从tnow=n-T向后)s(n-T-K+1),…,s(n-T)的函数“f”。时间tnow=n-T为无线信号到达听力装置的时间并指明相对于(对应的)声学传播的信号y的到达时间的延迟T。因此,在tnow=n-T,听力装置可使用s在t=tnow的样本以及s在tnow-1,tnow-2等的任何数量的过去样本值。
基于过去样本s(n-T-K+1),…,s(n-T)预测将来样本s(n)是众所周知的现有解决方案的众所周知的问题。例如,将来样本s(n)的预测可基于线性预测,例如参见[1],其中s(n)的估计量z(n)被形成为过去样本的线性组合,即:
其中,ak,k=0,…,P-1为从过去样本s(n-T-K+1),…,s(n-T)得出的时变、随信号而变的系数[1],其中P指线性预测器的阶。
存在许多其它预测s(n)的方法。例如,s(n)的估计量z(n)可使用非线性方法例如深度神经网络(DNN)进行计算,即:
z(n)=G(s(n-T-K+1),…,s(n-T);Θ,T) (2)
其中,Θ指DNN的参数集,G(.,Θ,T)表示该网络。在该情形下,网络G(.,Θ,T)应在部署来预测分隔T个样本的信号样本之前使用纯净语音信号的训练集进行离线训练,例如参见[2]中的第5章。
更一般地,s(n)的估计量z(n)可使用该形式的DNN进行计算:
z(n)=G(s(n-T-K+1),…,s(n-T),x(n);Θ) (3)
其中,x(n)表示在助听器处捕获的传声器信号(即该网络试图预测的有噪声版本)。在该情形下,我们消除该网络对T的相依性,因为其可在DNN内部通过将无线接收的样本s(n-T-K+1),…,s(n-T)与本地传声器信号x(n),比较而进行估计,例如通过使两个序列相关而进行估计。这种有权使用更新但可能非常有噪声的信号x(n)的配置特别好地适合瞬态/语音起始的预测,要不然这样的预测将富有挑战性。
在预测器的另一一般化版本中,
z(n)=G(s(n-T-K+1),…,s(n-T),x1(n),…,xM(n);Θ) (4)
估计量z(n)为(过时但可能相对无噪声的)接收到的无线信号和多个本地传声器信号x1(n),…,xM(n),(其为更新但可能非常有噪声的信号)的函数。该后者配置具有作为特殊情形的情形,其中z(n)(部分)计算为使用本地传声器信号在助听器处进行计算的波束形成信号y(n)的函数:
y(n)=H(x1(n),…,xM(n)) (5)
其中H(.)表示波束形成运算。存在其它预测方法。
显然,预测不限于如上所述的时域信号s(n)。例如,(线性)预测也可在时频域或者在其它域(如余弦、小波、拉普拉斯等)中发生。
一般地,可将预测的信号写为:
z(n)=s(n)+e(n) (6)
其中e(n)为估计误差。如果e(n)被视为噪声项,预测过程可看作延迟的(过时的)实质上无噪声的信号s(n-T)与更新的但通常有噪声的信号z(n)=s(n)+e(n)的“交易”。预测越准确,噪声(预测误差)越小。预测的信号中的信噪比(SNR)ξ(n)可从可用的过去样本进行估计,例如估计为:
其中,跨可用的过去样本求和。作为备选,SNR可离线计算为对于特定T值预期的长期平均SNR。
SNR也可在时频域(m,q)进行估计:
其中s(m,q)和e(m,q)指信号s(n)和e(n)的时频表示(例如短时傅里叶变换),T′和K′为T和K的时频比拟,m为时间指数(例如时间帧指数),q为频率指数(例如频带指数)。
预测的信号z(n)在听力装置中可按几种方式进行使用。
例如,如果SNRξ(n)足够高,可简单地用预测的信号z(n)替代在听力装置的传声器处拾取的有噪声信号x(n),例如在预测的信号中的SNRξ(n)高于传声器信号x(n)中的SNR的信号区域中(如听力装置机载的SNR估计算法估计的)。
作为备选,不是替代信号样本z(n),而是可在频带中执行替代。例如,可将z(n)分解成频道(例如低频率)并在频道中替代z(n),因为已知预测的信号的质量通常好于助听器传声器信号。更一般地,替代甚至可在时频域中根据时频窗口中的SNR估计量进行,参见上面的等式(8)。
作为备选,在多个不同的波束形成方案中,信号z(n)可与听力装置的一个或多个传声器信号组合以产生最终的、噪声降低的信号。在该情形下,信号z(n)被简单地视为具有目标信号的有噪声实现的又一传声器信号。
上面的描述假定预测器为接收器(即听力系统,如听力装置)的一部分。然而,也可能在无线传声器中预测,假定其具有处理能力并可被通知到达时间差T。换言之,预测的信号z(n)在无线传声器中形成并传给听力系统(如听力装置),可能与辅助信息如估计的一起。
上面的描述已假定无线传声器为捕获实质上无噪声的信号s(n)的单一传声器。然而,其也可由传声器阵列(即一个以上传声器)组成。在该情形下,波束形成系统可实施在无线装置中,波束形成器的输出扮演实质上无噪声的信号s(n).的角色。此外,外部(声音捕获)装置例如可由能够提取至少一无噪声信号的桌上传声器构成或者包括这样的传声器。
图2A示意性地示出了样本中的时变模拟信号(振幅-时间)及其数字化x(n),这些样本安排在多个时间帧中,每一时间帧包括Ns个样本。图2A示出了模拟电信号(实线曲线),例如表示来自传声器的声输入信号,其在模数转换过程中转换为数字音频信号x(n),在模数转换过程中,模拟信号以预定采样速率fs进行采样,fs例如在从8kHz到48kHz的范围中(适应应用的特定需要),以在离散时间点n提供数字样本x(n),如从时间轴延伸的在其与所述曲线“重合”的端点处具有实心点的垂直线所示,表示在对应的不同时间点n的数字样本值。每一(音频)样本x(n)表示通过预定数量(Nb)的(量化)比特表示声信号在时间n的值,Nb例如在从1到48比特的范围中,例如24比特。每一音频样本因而使用Nb个比特量化(导致音频样本的2Nb个不同的可能值)。
在模数(AD)过程中,数字样本x(n)具有1/fs的时间长度,例如对于fs=20kHz,该时间长度为50μs。多个(音频)样本Ns例如安排在时间帧中,如图2A下部示意性图示的,其中各个(在此均匀间隔的)样本按时间帧分组x(m)(包括各个样本元素#1,2,…,Ns),其中m为帧数。同样如图2A的下部图示的,时间帧可连续地安排成非重叠(时间帧1,2,…,m,…,NM),其中m为时间帧指数。作为备选,时间帧可重叠(如50%或更多,如图2A下部所示)。在实施例中,一时间帧包括64个音频数据样本。根据实际应用,也可使用其它帧长度。一时间帧例如可具有3.2ms的持续时间(例如在20kHz的采样速率下对应于64个样本)。
图2B示意性地示出了图2A的时变电信号x(n)与根据本发明的预测算法有关的时频图(或子频带)表示。该时频表示Xm(q)(q=1,…,Q,其中q为频率指数)包括信号的对应复值或实值在特定时间和频率范围的阵列或映射。该时频表示例如可以是将时变输入信号x(n)转换为时频域的(时变)信号X(m,q)的傅里叶变换的结果。在实施例中,傅里叶变换包括离散傅里叶变换算法(DFT),例如短时傅里叶变换(STFT)算法。典型听力装置考虑的从最小频率fmin到最大频率fmax的频率范围包括从20Hz到20kHz的典型人听频范围的一部分,如从20Hz到12kHz的范围的一部分。在图2B中,信号x(n)的时频表示X(m,q)包括信号的量值和/或相位在指数(m,q)确定的多个DFT窗口(或瓦)中的复值,其中q=1,…,Q表示Q个频率值(参见图2B中的纵向q轴),及m=1,…,NM表示NM个时间帧(参见图2B中的水平m轴)。时间帧由特定时间指数m和对应的Q个DFT窗口确定(参见图2B中的时间帧m的指示)。时间帧m(或Xm)表示信号x在时间m的频谱。包括所涉及信号的(实或)复值X(m,q)的DFT窗口或瓦(m,q)在图2B中通过时频图中对应场的阴影图示(参见图2B中的DFT窗口=时频单元(m,q):其中|X|表示量值,及表示在该时频单元中的信号的相位)。频率指数q的每一值对应于频率范围Δfq,如图2B中通过纵向频率轴f指明。时间指数m的每一值表示时间帧。连续时间指数跨越的时间TF取决于时间帧的长度及相邻时间帧之间的重叠程度(参见图2B中的水平时间轴)。
电信号的时间帧例如可包括表示声音的数字化电信号的Ns个连续的样本,例如64个(写为向量xm),m为时间指数,例如参见图2A。然而,作为备选,电信号的时间帧可定义成包括在给定时间点的电信号的幅度谱(写为向量Xm)(例如通过傅里叶变换算法如STFT(短时傅里叶变换)算法提供,例如参见图2B中的TF图的示意性图示)。表示多个时间样本的时间帧xm及表示电信号的(同样时间样本的)幅度谱的时间帧Xm通过傅里叶变换联系在一起,例如由表达式给出,其中为表示傅里叶变换的矩阵。
表示声音的电输入信号可被提供为多个子频带信号。子频带信号例如可通过分析滤波器组提供,例如基于多个带通滤波器,或者基于上面指出的傅里叶变换算法(例如通过从经傅里叶变换的数据连续提取相应的幅度谱)。
如图2B中指明的,根据本发明的预测算法可按子频带级提供(而不是上面描述的全带(时域)信号,例如参见图1D)。从而,提供相应的(子频带)预测算法的更新速率的下采样(例如20或更大的因数)。图2B中的包围(无线接收的)输入信号的多个历史时频单元(DFT窗口)的粗“梯状”多边形(从时间“现在”(指数m,参见图1C、1D中的时间“n-T”)及时间向后的Kq个时间单位)指明已知输入数据的部分,对于给定频带q,其用于预测(无线接收的)信号sWLR在预测时间T之后(指数m+T)的将来值z,参见在时间单位m+T具有点填充的粗矩形。预测算法可在所有频带q=1,…,Q中执行,及例如可使用同样数量(Kq个)的历史值来预测将来值(或者对于一些频带,使用不同的值)。但预测算法可仅在所选频带中执行,例如对语音可懂度最重要的频带,例如低于阈频(例如参见图1C中的fth)的频带,或者如图2B的示意性图示中标示的,高于低频阈频fth,low且低于高频阈频fth,high的频带。高频阈频fth,high例如可以是4kHz(通常在较高频率时预测困难)或3kHz或2kHz或更小,例如1kHz。部分原因在于在高于高频阈值的频率时的话音起源主要由嘴巴和喉咙区域的激流气流引起,就其本质而言,其相较低于低频阈值的频率时的话音(主要通过声带振动产生)不太可预测。低频阈频fth,low例如可大于或等于100Hz(通常人的听觉感知低于100Hz),或者大于或等于200Hz,或者大于或等于500Hz。指明时频单元的用于预测将来的时频单元的过去值的数量的参数Kq可不同,例如随频率增大而减小(如图2B中所示),例如,模仿随频率递减而递增基频的时间段。类似地,应用于给定子频带信号的每一先前值(时频单元)的加权因子ai可随频率而变,ai=ai(q)=ai,q。甚至预测时间T(例如由参数Kq的不同值引起)可随频率而变(T=T(q)=Tq)。各个预测算法可根据本发明执行,如上面针对全带信号讨论的。代替如图2B中所示的作用于均匀频带(带宽Δfq独立于频率指数q),预测算法可作用于非均匀频带,例如随频率递增具有递增的带宽(反映人听觉系统的对数特性)。
图3示出了包括与声音捕获装置(Mex-Tx)通信的、根据本发明的听力装置HD的听力系统的实施例。听力装置HD如助听器包括输入单元IU,其包括包含相应的输入变换器(IT1,…,ITM)(如传声器)的M个(M≥2)输入单元(IU1,…,IUM),用于将听力装置环境中的声音(“声输入”,y1(t),…,yM(t))转换为对应的多个声学接收的电输入信号(y’1(n),…,y’M(n)),从而将所述声音表示为数据样本流。输入单元(如输入变换器)可包括适当的模数转换器以将声学接收的电输入信号提供为数字样本。输入单元(IU1,…,IUM)还包括相应的分析滤波器组AFB,用于将声学接收的电输入信号按时频表示(m,q)提供为信号Y=(Y1(m,q),…,YM(m,q))。听力装置HD(在此为输入单元IU)还包括辅助输入单元IUaux,其包括用于从拾取环境中的(目标)声音S的声音捕获装置Mex的无线发射器Tx接收音频信号(“音频输入”,s(t))并提供将所述声音表示为数字样本流(sWLR(n))的无线接收的电输入信号sWLR(n)的无线接收器Rx。辅助输入单元IUaux可包括适当的模数转换器以将无线接收的电输入信号提供为数字样本(sWLR(n))。输入单元(IU1,…,IUM)还包括相应的分析滤波器组AFB,用于按时频表示(m,q)将无线接收的电输入信号(sWLR(n))提供为信号SWLR(m,q)。助听器还包括波束形成器BF,配置成基于多个声学接收的电输入信号(Y1(m,q),…,YM(m,q))提供波束形成信号YBF(m,q)。助听器还包括处理器PRO,配置成接收波束形成信号YBF(m,q)和无线接收的电输入信号SWLR(m,q)。处理器PRO包括信号预测器PRED,配置成根据信号的多个过去样本(或时频单元)估计无线接收的电输入信号sWLR(n)(或SWLR(m,q))的将来样本(或时频单元),从而提供预测的信号z(n)(或Z(m,q))。信号预测器PRED可配置成运行上面概述的(及现有技术中的,例如参见EP3681175A1)估计算法。信号预测器PRED可配置成估计声学接收的电输入信号(例如y’i(n),i=1,…,M,或者波束形成信号YBF(m,q))和无线接收的电输入信号(sWLR(n’)或SWLR(m,q))之间的到达时间差,例如参见图4中的延迟估计器DEST,例如通过找到优化两个信号之间的相关函数的时滞进行估计。到达时间差(参见图4中的T)可被馈给预测算法以确定该算法的预测时间。到达时间差(参见图4中的T)可基于时频域信号(YBF(m,q)和SWLR(m,q))进行确定,参见信号预测器PRED的虚线输入YBF(m,q)。听力装置还包括选择控制器SEL-MIX-CTR,配置成根据控制信号如声音质量度量例如SNR估计量在(所得的)处理后的信号中包括基于无线接收的电输入信号预测的信号(例如参见图4)。处理后的信号可包括预测的信号Z(m,q)或者可由预测的信号构成。处理后的信号可以是声学接收的波束形成信号YBF(m,q)与无线接收的电输入信号Z(m,q)的混合。图3的听力装置实施例还包括输出单元OU,其包括合成滤波器组FBS及用于根据来自处理器的处理后的信号或者其进一步处理后的版本向用户呈现可感知为声音的输出刺激的输出变换器(例如参见图4)。输出单元视情况可包括数模转换器。输出变换器可包括空气传导型听力装置的扬声器。输出变换器可包括骨导型听力装置的振动器。输出变换器可包括耳蜗植入型听力装置的多电极阵列。在后者情形下,可省略合成滤波器组。
图4示出了根据本发明的助听器的实施例。该助听器包括输入变换器(在此为传声器M),用于将听力装置环境中的声音(“声输入y(t)”,t表示时间)转换为声学接收的电输入信号(y(n)=s(n)+v(n)),从而将所述声音表示为数字样本流,n为时间指数。输入变换器假定将电输入信号提供为数字样本流y(n),例如通过使用MEMS传声器或者通过包括模数转换器(只要适当)。声输入y(t)(基于其的电输入信号v(n))可包括来自环境(例如来自用户,或来自助听器(例如声学反馈))的目标声音s和噪声v。助听器还包括无线接收器Rx,用于从拾取所述环境中的声音的声音捕获装置的无线发射器接收音频信号。无线接收器Rx例如可包括天线及对应的电子电路,用于接收和提取净荷(音频)信号并提供无线接收的电输入信号sWLR(n’),从而将所述声音表示为数字样本流,n’为时间指数。助听器包括相应的分析滤波器组(或傅里叶变换算法),用于分别在子频带中或者按时频表示Y(m,q)和SWLR(m’,q)提供每一数字化的电输入信号y(n)和sWLR(n’),其中m和m’为时间指数,q为频率指数。助听器还包括信号预测器PRED,配置成根据无线接收的电输入信号SWLR(m,q)的多个过去样本SWLR(m’,q)估计其将来样本(例如估计为在一个或多个频带q’中的时频单元(m,q)的值),从而提供预测的信号Z(m,q)。助听器还包括延迟估计器DEST,配置成估计来自环境中给定声源的声音在声学接收的电输入信号y(n)与无线接收的电输入信号sWLR(n’)之间的、到达助听器(例如延迟估计器的输入)的时间差T。到达时间差T随着延迟估计器的输出被馈给信号预测器PRED来确定信号预测器的预测时间段而提供。到达时间差T例如可通过使声学接收的信号与无线接收的信号相关而进行确定。助听器还包括相应的SNR估计器(SNRestA,SNRestP),配置成分别提供声学接收的电输入信号Y(m,q)和预测的信号Z(m,q)的信噪比的估计量。SNR估计一般可以多种方式提供,例如涉及话音活动检测器,及例如估计语音停顿期间的噪声电平<N(m0,q)>并将噪声估计量提供为Y(m,q)/<N(m0,q)>,其中m0为噪声上次被估计时的时间指数(前一语音停顿)。更复杂的SNR估计方案或者其它信号质量估计量也可用,例如参见US20190378531A1。分别应用于声学接收的信号和预测的信号的SNR估计器(SNRestA,SNRestP)可基于不同的原理。预测的信号(Z)的SNR估计器SNRestP可基于无线接收的电输入信号(SWLR)的先前的值(参见SNR估计器SNRestP的虚线输入)及预测误差信号e进行估计(Z=S+e),参见上面结合(针对相应的时域实施和时频域实施的)等式(7)和(8)概述的。助听器还包括选择控制器SEL-MIX-CTR,配置成估计声音质量度量例如根据声学接收的电输入信号Y(m,q)和无线接收的电输入信号Z(m,q)的SNR估计量SNRY(m,q)和SNRZ(m,q)将无线接收的电输入信号的估计的将来样本包括在处理后的信号中。无线接收的电输入信号的估计的将来样本可被包括在预测的信号满足声音质量判据(例如,声音质量度量,在此为SNR估计量SNRZ(m,q),大于第一阈值SNRTH1(q)或者大于声学接收的信号Y(m,q)的SNR估计量)的时间区域中。例如,如果SNR估计量足够高,例如大于第二阈值SNRTH2(q),选择控制器可配置成用预测的信号z(n)替代(有噪声的)声学接收的电输入信号y(n)(或者助听器的传声器处拾取的信号),例如在预测的信号中估计的SNR高于传声器信号y(n)中估计的SNR(通过助听器机载的SNR估计算法估计)的时间区域中,n为时间(样本)指数。在时频域,这样的方案可基于子频带级(q)或者时频单元级(即对于每一TF单元(m,q),个别地)同等地进行调整。选择控制器SEL-MIX-CTR因而将信号Y(m,q)和Z(m,q)接收为音频输入并根据控制信号SNRY(m,q)和SNRZ(m,q)将(增强的)音频信号提供为输出。助听器还包括信号处理单元HAG,配置成提供随频率而变的增益和/或随电平而变的压缩,例如为了补偿用户的听力受损。因而确定的助听器增益可应用于(增强的)音频信号并提供(适应用户的)处理后的信号Sout(m,q)。助听器还包括合成滤波器组FBS,用于将时频域的信号Sout(m,q)转换为时域信号sout(n)。助听器还包括输出变换器OT,用于根据来自处理器的处理后的信号sout(n)或者其进一步处理后的版本将可感知为声音的输出刺激呈现给用户。输出变换器例如可包括扬声器、振动器或者植入的电极阵列。图4的助听器的部分功能元件可被包括在(例如数字信号)处理器中。处理器配置成接收:a)至少一声学接收的电输入信号或其处理后版本,b)无线接收的电输入信号,及根据其提供处理后的信号。(数字信号)处理器可包括图4实施例的下述功能模块:a)分析滤波器组FBA,b)延迟估计器DEST,c)信号预测器PRED,d)SNR估计器SNRest,e)选择控制器SEL-MIX-CTR,f)信号处理单元HAG,及g)合成滤波器组FBS。其它功能模块例如与反馈控制有关的模块或者另外的分析和控制模块例如与自我话音估计/话音控制等有关的模块也可包括在(数字信号)处理器中。
图5示出了根据本发明的、包括信号预测器和波束形成器的助听器的实施例。图5的实施例类似于图4的实施例,除了未标示控制声学接收的电输入信号(Y)和预测的信号(Z)的混合的SNR估计器(SNRestP,SNRestP)之外。另外,代替图4的选择控制器SEL-MIX-CTR,在图5的实施例中包括波束形成器滤波器BF。或者,换言之,选择控制器SEL-MIX-CTR可被体现在波束形成器滤波器BF中从而提供(增强的)音频信号在该实施例中,在多个不同的波束形成方案中,预测的信号(z(n)或Z(m,q))与助听器的一个或多个传声器信号组合以产生最终的噪声降低的信号(在此仅示出了一个传声器信号Y(m,q),但在其它实施例中,可有多个(M个)电输入信号,例如参见图3)。在该情形下,预测的信号被简单地视为具有目标信号的有噪声实现的又一传声器信号。
图6A示出了包括彼此通信的耳件EP和体戴音频处理装置APD的听力装置HD的实施例。(可能)体戴的处理装置APD包括包含根据本发明的信号预测器PRED的计算装置CPDapd(例如音频信号处理器或类似装置)。听力装置如助听器包括配置成佩戴在用户耳朵处或耳朵中的至少一耳件EP及配置成由用户佩戴或携带(或者至少位于足够靠近用户的地方以经相应装置的收发器实施的无线链路保持与耳件通信)的单独的音频处理装置APD。
至少一耳件EP包括输入变换器(在此为传声器M),用于将听力装置的环境中的声音转换为表示该声音的声学接收的电输入信号y(n)。耳件还包括无线发射器Tx,用于将声学接收的电输入信号y(n)或其一部分(例如经滤波的部分,如低通滤波的部分)传给音频处理装置APD。耳件EP还包括无线接收器,用于至少在听力装置的正常运行模式下从所述音频处理装置接收预测的信号。无线发射器和接收器可被提供为天线和收发器电路,用于根据标准化或专有的(短程)协议建立音频通信链路WL。耳件EP还包括输出变换器(在此为扬声器SPK),用于将(最终的)处理后的信号s’out(n)转换为由用户感知为声音的刺激。处理后的信号s’out(n)至少在听力装置的正常运行模式下可由预测的信号的至少一部分构成或者包括预测的信号的至少一部分(由音频处理装置提供(或者由耳件提供,如图6B中所示),参见下面)。
音频处理装置APD包括用于从耳件EP接收声学接收的电输入信号y(n)或其一部分的无线接收器Rx并配置成提供表示该信号或其一部分的、接收到的信号y(n’)。音频处理装置APD(例如计算装置CPDapd)还包括处理器部分HAP,用于将处理算法(例如包括神经网络)应用于所述接收到的信号y(n’)或者源自其的信号例如其变换后的版本Y,并提供修改的信号Y’。处理器部分HAP例如可配置成用户的听力受损(例如通过应用压缩放大算法,例如提供将应用于输入信号(y(n’)或Y)的随频率和/或电平而变的增益(衰减))。音频处理装置APD(例如计算装置CPDapd)还包括信号预测器PRED,用于根据信号的多个过去的值估计修改的信号(y’,Y’)的将来值从而提供预测的信号(z,Z)。信号预测器PRED可包括预测算法(或工作在时域,或工作在变换域如时频域),配置成基于输入信号的过去的值及预测时间的知识例如输入信号的第一将来值与最后过去值之间的处理延迟(参见输入T)(例如参见图1C、1D)而预测输入信号的将来值。总处理延迟T可以是由耳件EP与单独的处理装置APD之间的无线链路引起的延迟Tlink加上音频处理装置中的处理延迟Tapd的和(即T=Tlink+Tapd)。无线链路的处理延迟Tlink取决于用于建立该链路的技术(通信协议)并可已知或提前(或在使用期间)估计。音频处理装置的处理延迟Tapd取决于从接收器到发射器的、通过音频处理装置的音频通路的处理模块,同样可已知或提前(或在使用期间)估计。音频处理装置APD还包括发射器Tx,用于将预测的信号(Z)或其处理后版本(sout(n))(称为“第一处理后的信号”)传给耳件EP。
信号预测器PRED配置成完全或部分补偿因a)声学接收的电输入信号y(n)从耳件EP到音频处理装置APD的传输,b)音频处理装置APD中的处理(通过其从接收器Rx到发射器Tx的音频信号处理通路),及c)预测的信号z(n)或其处理后版本到耳件EP的传输及其中的接收(信号s’out(n))引起的处理延迟。这通过将总处理延迟的估计量T(T=Tlink+Tapd)提供为预测算法(PRED)的输入实现。
在图6A的实施例中,音频处理装置APD(例如计算装置CPDapd)还包括相应的变换域单元和逆变换域单元(TRF,I-TRF),以将时域信号(在此为来自耳件的、接收到的信号y(n’))转换到变换域(例如时频域),参见信号Y,及再次变换回去(在此,变换域的预测的信号Z变换回到时域的信号z(n))。在图6A的实施例中,信号预测器PRED在变换域中实施。在图6C的实施例中,信号预测器PRED在时域中实施。这可根据听力装置/系统的具体配置(例如划分)而选择为设计特征。
图6B示出了如图6A中所示的、包括耳件EP和(例如体戴)处理装置APD的助听器HD的实施例,但耳件还包括使来自传声器M的信号(信号y(n))和/或来自无线接收器Rx的信号(信号s’out(n))能在耳件中处理的计算装置CPDep(例如信号处理单元)。计算装置CPDep提供最终处理后的信号(图6B中的s”out(n)),其被馈给输出变换器(在此为扬声器SPK)以呈现给用户。在图6B的实施例中,信号预测器PRED在时域实施。
图6C示出了如图6A中所示的、包括耳件和体戴处理装置的助听器的实施例,但其中信号预测器工作在时域(因为逆变换域单元I-TRF和信号预测器PRED的顺序已颠倒)。另一差别在于耳件EP包括使耳件能处理声学接收的信号y(n)和/或从单独的音频处理装置APD接收的第一处理后的信号的计算装置CPDep。声学接收的信号y(n)的可选处理(如计算装置CPDep的虚线输入标示的)例如在不能建立到音频处理装置APD的联系的运行模式下可能感兴趣(例如为了向用户提供听力装置的基本功能(如听力损失补偿))。
关于图6A、6B、6C的实施例,应提及的是,从耳件EP经无线链路WL传到(外部)音频处理装置APD和/或从音频处理装置APD传到耳件EP的信号不必然必须为“音频信号”。其也可为从音频信号得出的特征。例如,代替将音频信号传回到听力装置,可传回从预测的信号得出的增益。
术语“或其处理后版本”例如可覆盖这样的从原始音频信号提取的特征。术语“或其处理后版本”例如也可覆盖已遭受处理算法的原始音频信号,处理算法将增益或衰减应用于原始音频信号并导致修改的音频信号(优选在一定意义上增强,例如相对于目标信号降低的噪声)。
当由对应的过程适当代替时,上面描述的、“具体实施方式”中详细描述的及权利要求中限定的装置的结构特征可与本发明方法的步骤结合。
除非明确指出,在此所用的单数形式“一”、“该”的含义均包括复数形式(即具有“至少一”的意思)。应当进一步理解,说明书中使用的术语“具有”、“包括”和/或“包含”表明存在所述的特征、整数、步骤、操作、元件和/或部件,但不排除存在或增加一个或多个其他特征、整数、步骤、操作、元件、部件和/或其组合。应当理解,除非明确指出,当元件被称为“连接”或“耦合”到另一元件时,可以是直接连接或耦合到其他元件,也可以存在中间插入元件。如在此所用的术语“和/或”包括一个或多个列举的相关项目的任何及所有组合。除非明确指出,在此公开的任何方法的步骤不必须精确按所公开的顺序执行。
应意识到,本说明书中提及“一实施例”或“实施例”或“方面”或者“可”包括的特征意为结合该实施例描述的特定特征、结构或特性包括在本发明的至少一实施方式中。此外,特定特征、结构或特性可在本发明的一个或多个实施方式中适当组合。提供前面的描述是为了使本领域技术人员能够实施在此描述的各个方面。各种修改对本领域技术人员将显而易见,及在此定义的一般原理可应用于其他方面。
权利要求不限于在此所示的各个方面,而是包含与权利要求语言一致的全部范围,其中除非明确指出,以单数形式提及的元件不意指“一个及只有一个”,而是指“一个或多个”。除非明确指出,术语“一些”指一个或多个。
参考文献
[1]Deller,Hansen and Proakis,”Discrete-Time Processing of SpeechSignals,”IEEE Press,2000.
[2]Goodfellow,Bengio and Courville,“Deep Learning,”MIT Press,2016.
·EP3681175A1(Oticon)15.07.2020.
·US20190378531A1(Oticon)12.12.2019.
Claims (16)
1.一种听力装置,包括:
-至少一输入变换器,用于将听力装置的环境中的声音转换为相应的表示所述声音的至少一声学接收的电输入信号;
-无线接收器,用于从拾取所述环境中的声音的声音捕获装置的无线发射器接收音频信号并提供表示所述声音的无线接收的电输入信号;
-处理器,配置成
--接收所述至少一声学接收的电输入信号或其处理后版本;
--接收所述无线接收的电输入信号;及
--提供处理后的信号;
所述处理器包括:
--信号预测器,用于根据所述无线接收的电输入信号的多个过去值估计所述无线接收的电输入信号的将来值从而提供预测的信号;
-输出变换器,用于根据来自所述处理器的所述处理后的信号或者其进一步处理后的版本将可感知为声音的输出刺激呈现给用户;
其中,所述处理器配置成根据预测的信号或其处理后版本以下述方式提供所述处理后的信号:
--单独地,或者
--与所述至少一声学接收的电输入信号或其处理后版本混合地。
2.根据权利要求1所述的听力装置,其中,所述处理器包括延迟估计器,配置成估计来自所述环境中的给定声源的声音在下述信号之间的、到达所述处理器的时间差:
-所述声学接收的电输入信号或其处理后版本;及
-所述无线接收的电输入信号。
3.根据权利要求1所述的听力装置,包括用于向另一装置传输数据的无线发射器。
4.根据权利要求1所述的听力装置,其中,所述处理器包括选择控制器,配置成根据声音质量度量将估计的预测的信号或其部分包括在所述处理后的信号中。
5.根据权利要求1所述的听力装置,包括变换单元或者包括相应的变换单元,用于在变换域提供至少一声学接收的电输入信号或其处理后版本和/或所述无线接收的电输入信号。
6.根据权利要求5所述的听力装置,其中,所述变换单元配置成在频域提供信号。
7.根据权利要求6所述的听力装置,其中,所述处理器配置成仅在听力装置的工作频率范围的有限部分将无线接收的电输入信号的估计的将来值包括在处理后的信号中。
8.根据权利要求7所述的听力装置,其中,处理后的信号仅在满足声音质量判据的频带或时频区域中包括无线接收的电输入信号的将来值。
9.根据权利要求1所述的听力装置,包括波束形成器,配置成基于至少一声学接收的电输入信号及所述预测的信号提供波束形成信号。
10.根据权利要求1所述的听力装置,配置成在预测的信号呈现给用户之前将空间线索应用于预测的信号。
11.根据权利要求2所述的听力装置,配置成仅在到达时间差大于最小值的情形下启动信号预测器。
12.一种听力装置,包括:
-配置成佩戴在用户耳朵处或耳朵中的至少一耳件;及
-单独的音频处理装置;
所述至少一耳件包括:
--输入变换器,用于将听力装置的环境中的声音转换为表示所述声音的声学接收的电输入信号;
--无线发射器,用于将所述声学接收的电输入信号或其一部分传给所述音频处理装置;
--无线接收器,用于至少在听力装置的正常运行模式下从所述音频处理装置接收第一处理后的信号;及
--输出变换器,用于将最终的处理后的信号转换为由用户感知为声音的刺激;
所述音频处理装置包括:
--无线接收器,用于从耳件接收所述声学接收的电输入信号或其一部分并提供表示该信号的、接收到的信号;
--计算装置,用于处理所述接收到的信号或源自其的信号并提供第一处理后的信号;
--发射器,用于将所述第一处理后的信号传给所述耳件;
其中,所述至少一耳件或所述音频处理装置包括:
--信号预测器,用于根据所述接收到的信号的多个过去值估计所述接收到的信号或其处理后版本的将来值从而提供预测的信号;
--其中,所述信号预测器配置成完全或部分补偿因下述之一或多个例如全部引起的处理延迟:
---声学接收的电输入信号从听力装置到音频处理装置的传输;
---音频处理装置中的处理;及
---预测的信号或其处理后版本到所述耳件的传输及其在所述耳件中的接收;
其中,至少在听力装置的正常运行模式下,最终的处理后的信号由预测的信号的至少一部分构成或者包括预测的信号的至少一部分。
13.根据权利要求12所述的听力装置,其中,所述音频处理装置包括所述信号预测器。
14.根据权利要求12所述的听力装置,其中,所述至少一耳件包括耳件计算装置,配置成处理所述声学接收的电输入信号和/或从音频处理装置接收的所述第一处理后的信号并提供所述最终的处理后的信号;其中耳件计算装置至少在听力装置的正常运行模式下配置成将声学接收的电输入信号或修改的信号与从音频处理装置接收的预测的信号混合并将混合信号作为第一处理后的信号提供给输出变换器。
15.根据权利要求14所述的听力装置,其中,耳件计算装置在第一处理后的信号不从音频处理装置接收或者以次质量接收的耳件运行模式下配置成根据声学接收的输入信号将最终的处理后的信号提供给输出变换器。
16.根据权利要求1或12所述的听力装置,包括听力仪器、耳机、耳麦、耳朵保护装置或其组合。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP21168632.4 | 2021-04-15 | ||
EP21168632 | 2021-04-15 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115226016A true CN115226016A (zh) | 2022-10-21 |
Family
ID=75539205
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210397429.3A Pending CN115226016A (zh) | 2021-04-15 | 2022-04-15 | 包括通信接口的听力装置或系统 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11968500B2 (zh) |
EP (1) | EP4075829B1 (zh) |
CN (1) | CN115226016A (zh) |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6766824B2 (en) * | 2001-12-20 | 2004-07-27 | Koninklijke Philips Electronics N.V. | Fluid control valve and a feedback control system therefor |
DK1801786T3 (en) * | 2005-12-20 | 2015-03-16 | Oticon As | An audio system with different time delay and a method of processing audio signals |
DE102008064430B4 (de) * | 2008-12-22 | 2012-06-21 | Siemens Medical Instruments Pte. Ltd. | Hörvorrichtung mit automatischer Algorithmenumschaltung |
DK2352312T3 (da) * | 2009-12-03 | 2013-10-21 | Oticon As | Fremgangsmåde til dynamisk undertrykkelse af omgivende akustisk støj, når der lyttes til elektriske input |
DK3065422T3 (da) * | 2015-03-04 | 2019-05-20 | Starkey Labs Inc | Teknikker til forbedring af behandlingskapacitet i høreapparater |
US10861478B2 (en) | 2016-05-30 | 2020-12-08 | Oticon A/S | Audio processing device and a method for estimating a signal-to-noise-ratio of a sound signal |
DK3603112T3 (da) * | 2017-03-28 | 2021-09-06 | Widex As | Et binauralt høreapparatssystem og en fremgangsmåde til drift af et binauralt høreapparatssystem |
US10431238B1 (en) * | 2018-08-17 | 2019-10-01 | Apple Inc. | Memory and computation efficient cross-correlation and delay estimation |
EP3681175B1 (en) | 2019-01-09 | 2022-06-01 | Oticon A/s | A hearing device comprising direct sound compensation |
WO2021087524A1 (en) * | 2019-10-30 | 2021-05-06 | Starkey Laboratories, Inc. | Generating an audio signal from multiple inputs |
US11515953B1 (en) * | 2021-08-05 | 2022-11-29 | Qualcomm Incorporated | Low noise amplifier saturation mitigation |
US11908444B2 (en) * | 2021-10-25 | 2024-02-20 | Gn Hearing A/S | Wave-domain approach for cancelling noise entering an aperture |
-
2022
- 2022-04-06 EP EP22166936.9A patent/EP4075829B1/en active Active
- 2022-04-14 US US17/720,744 patent/US11968500B2/en active Active
- 2022-04-15 CN CN202210397429.3A patent/CN115226016A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US20220337960A1 (en) | 2022-10-20 |
US11968500B2 (en) | 2024-04-23 |
EP4075829B1 (en) | 2024-03-06 |
EP4075829A1 (en) | 2022-10-19 |
EP4075829C0 (en) | 2024-03-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108200523B (zh) | 包括自我话音检测器的听力装置 | |
CN111556420A (zh) | 包括降噪系统的听力装置 | |
CN111836178A (zh) | 包括关键词检测器及自我话音检测器和/或发射器的听力装置 | |
CN110035367B (zh) | 反馈检测器及包括反馈检测器的听力装置 | |
CN110740412B (zh) | 包括语音存在概率估计器的听力装置 | |
CN111432318B (zh) | 包括直接声音补偿的听力装置 | |
CN109996165B (zh) | 包括适于位于用户耳道处或耳道中的传声器的听力装置 | |
CN110139200B (zh) | 包括用于降低反馈的波束形成器滤波单元的听力装置 | |
CN109660928B (zh) | 包括用于影响处理算法的语音可懂度估计器的听力装置 | |
CN113453134A (zh) | 听力装置及其运行方法和相应数据处理系统 | |
US11856357B2 (en) | Hearing device comprising a noise reduction system | |
US20220264231A1 (en) | Hearing aid comprising a feedback control system | |
CN114513734A (zh) | 包括自我话音估计的双耳助听器系统和助听器 | |
CN115134729A (zh) | 助听器中改进的反馈消除 | |
EP4057644A1 (en) | A hearing aid determining talkers of interest | |
CN113873414A (zh) | 包括双耳处理的助听器及双耳助听器系统 | |
US20230308817A1 (en) | Hearing system comprising a hearing aid and an external processing device | |
EP4300992A1 (en) | A hearing aid comprising a combined feedback and active noise cancellation system | |
EP4099724A1 (en) | A low latency hearing aid | |
CN114697846A (zh) | 包括反馈控制系统的助听器 | |
US11968500B2 (en) | Hearing device or system comprising a communication interface | |
CN115134730A (zh) | 基于运动数据的信号处理 | |
US11950057B2 (en) | Hearing device comprising a speech intelligibility estimator | |
EP4199541A1 (en) | A hearing device comprising a low complexity beamformer | |
EP4297435A1 (en) | A hearing aid comprising an active noise cancellation system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination |