CN116405818A - 包括低复杂性波束形成器的听力装置 - Google Patents
包括低复杂性波束形成器的听力装置 Download PDFInfo
- Publication number
- CN116405818A CN116405818A CN202211620320.8A CN202211620320A CN116405818A CN 116405818 A CN116405818 A CN 116405818A CN 202211620320 A CN202211620320 A CN 202211620320A CN 116405818 A CN116405818 A CN 116405818A
- Authority
- CN
- China
- Prior art keywords
- signal
- beamformer
- target
- hearing device
- noise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000006978 adaptation Effects 0.000 claims abstract description 68
- 239000013598 vector Substances 0.000 claims abstract description 68
- 230000006870 function Effects 0.000 claims abstract description 47
- 238000012546 transfer Methods 0.000 claims abstract description 30
- 230000003044 adaptive effect Effects 0.000 claims description 73
- 230000009467 reduction Effects 0.000 claims description 64
- 238000004422 calculation algorithm Methods 0.000 claims description 63
- 238000012937 correction Methods 0.000 claims description 56
- 230000000694 effects Effects 0.000 claims description 28
- 238000000034 method Methods 0.000 claims description 26
- 238000004378 air conditioning Methods 0.000 claims description 3
- 230000001419 dependent effect Effects 0.000 description 18
- 238000012545 processing Methods 0.000 description 18
- 238000004891 communication Methods 0.000 description 17
- 230000015572 biosynthetic process Effects 0.000 description 9
- 210000003128 head Anatomy 0.000 description 9
- 238000003786 synthesis reaction Methods 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000001914 filtration Methods 0.000 description 8
- 230000005236 sound signal Effects 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 7
- 230000033001 locomotion Effects 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000009499 grossing Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 230000009977 dual effect Effects 0.000 description 5
- 239000000203 mixture Substances 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 101100205323 Schizosaccharomyces pombe (strain 972 / ATCC 24843) nrs1 gene Proteins 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 208000016354 hearing loss disease Diseases 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- RXKGHZCQFXXWFQ-UHFFFAOYSA-N 4-ho-mipt Chemical compound C1=CC(O)=C2C(CCN(C)C(C)C)=CNC2=C1 RXKGHZCQFXXWFQ-UHFFFAOYSA-N 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 210000003625 skull Anatomy 0.000 description 3
- 239000000654 additive Substances 0.000 description 2
- 230000000996 additive effect Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 239000007943 implant Substances 0.000 description 2
- 230000001939 inductive effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 208000032041 Hearing impaired Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000001055 chewing effect Effects 0.000 description 1
- 210000000860 cochlear nerve Anatomy 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 210000000613 ear canal Anatomy 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000003054 facial bone Anatomy 0.000 description 1
- 210000001097 facial muscle Anatomy 0.000 description 1
- 235000021474 generally recognized As safe (food) Nutrition 0.000 description 1
- 235000021473 generally recognized as safe (food ingredients) Nutrition 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1041—Mechanical or electronic switches, or control elements
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/40—Arrangements for obtaining a desired directivity characteristic
- H04R25/407—Circuits for combining signals of a plurality of transducers
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
- G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
- G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
- G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
- G10K11/1785—Methods, e.g. algorithms; Devices
- G10K11/17853—Methods, e.g. algorithms; Devices of the filter
- G10K11/17854—Methods, e.g. algorithms; Devices of the filter the filter being an adaptive filter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1083—Reduction of ambient noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
- G10L2021/02166—Microphone arrays; Beamforming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
- H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
- H04R2201/10—Details of earpieces, attachments therefor, earphones or monophonic headphones covered by H04R1/10 but not provided for in any of its subgroups
- H04R2201/105—Manufacture of mono- or stereophonic headphone components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2410/00—Microphones
- H04R2410/01—Noise reduction using microphones having different directional characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
- H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
- H04R2460/01—Hearing devices using active noise cancellation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
Landscapes
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Neurosurgery (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
本申请公开了包括低复杂性波束形成器的听力装置,所述听力装置包括:多个输入变换器;用于根据多个电输入信号提供处理后的信号的处理器,该处理器包括:至少一波束形成器,用于根据电输入信号以及波束形成器滤波器系数提供空间滤波的信号,所述波束形成器滤波器系数根据固定的导向向量进行确定,该导向向量将从提供目标信号的目标信号源到多个输入变换器中的每一个的相应声学传递函数或者从多个输入变换器中的参考输入变换器到其余输入变换器中的每一个的声学传递函数包括为元素;及连接到多个输入变换器以及至少一波束形成器的目标自适应模块,所述目标自适应模块配置成提供补偿信号以补偿所述多个电输入信号使得它们匹配所述固定的导向向量。
Description
技术领域
本发明涉及听力装置如助听装置,例如耳机或助听器。
背景技术
在助听装置中,需要针对不同应用捕获和增强语音。在助听器应用中,希望增强外部语音源以提高可懂度。另一重要的应用是用户自我话音的增强,针对耳机(和助听器,助听器也可用作耳机)中免提话音通信或者针对到助听器的话音接口。此外,可检测声音场景中用户自我话音的存在以控制助听装置中的不同特征。
增强语音的有效方式是使用多通道降噪技术例如波束形成。波束形成系统的目的在于两方面:在将不太重要的背景噪声抑制到某一水平的同时无失真地通过语音信号。
在耳机中的自我话音增强情形下,目标是尽可能消除不合需要的背景噪声。这与助听器中的典型降噪方法相反,在助听器中,目标主要是提高可懂度且不牺牲可听性,即背景噪声不应被完全消除。然而,对于助听器中的自我话音增强,目标更接近地类似于耳机应用,即目标再次为尽可能消除(在不同情况下)需要的背景噪声。
发明内容
时不变波束形成器对于降噪系统可能是良好的起点,如果可能使关于目标和背景噪声的现有假设合理。在助听器系统中,目标从正面入射可能是尚可的假设。
在自我话音增强情形下,用户自我话音在不同用户之间均大约源自同样的位置(即用户嘴巴),对于这样的降噪系统,校准的波束形成器将是良好的起点。
跨用户的声学差异和/或跨设备的传感器灵敏度变化可降低前述时不变波束形成器的性能。同样,由于时不变波束形成器需要在噪声可能源自任何方向的假设下进行设计,考虑具体噪声场的知识,可存在更好的波束形成器。
小型助听装置中的降噪方案应优选以不多的操作、低复杂性和低存储器消耗进行执行,而不显著牺牲降噪性能。
所提出的解决方案包括在时频域运行的多传声器增强系统(波束形成器)。波束形成问题的解决方案细分为三个部分:
1)鲁棒的时不变波束形成器部分;
2)噪声场自适应部分;及
3)目标导向自适应部分。
第一听力装置
在本申请的一方面,提供配置成由用户佩戴的听力装置。该听力装置包括:
-多个输入变换器,每一输入变换器提供表示听力装置环境中的声音的电输入信号,从而提供对应的多个电输入信号;
-用于根据多个电输入信号提供处理后的信号的处理器,该处理器包括:
--至少一波束形成器,用于根据所述电输入信号或源自其的信号以及波束形成器滤波器系数提供空间滤波的信号,所述波束形成器滤波器系数根据固定的导向向量进行确定,该导向向量将从提供目标信号的目标信号源到多个输入变换器中的每一个的相应声学传递函数或者从多个输入变换器中的参考输入变换器到其余输入变换器中的每一个的声学传递函数包括为元素。
听力装置还可包括连接到多个输入变换器以及至少一波束形成器的目标自适应模块,所述目标自适应模块配置成提供补偿信号以补偿所述多个电输入信号使得它们匹配所述固定的导向向量。
从而可提供改进的听力装置。
第二听力装置
在第二方面,提供配置成由用户佩戴的听力装置如助听器或耳机。该听力装置包括:
-多个输入变换器,每一输入变换器提供表示听力装置环境中的声音的电输入信号,从而提供对应的多个电输入信号;
-用于根据多个电输入信号提供处理后的信号的处理器,该处理器包括:
--降噪系统,包括
---目标保持波束形成器,其在所述环境中目标信号源的方向具有最大灵敏度并提供其中目标信号被保持的目标信号估计量;
---目标消除波束形成器,其在所述目标信号源的方向具有最小灵敏度并提供其中目标信号被衰减的噪声估计量;
---噪声消除器,包括用于估计自适应降噪参数(或矩阵)并提供噪声降低的目标信号的自适应滤波器,其中自适应滤波器的自适应算法包括复数符号最小均方(LeastMean Squares,LMS)算法,其中所述自适应算法配置成根据目标消除波束形成器的输出以及噪声降低的目标信号确定自适应算法的步长参数的符号。
目标保持波束形成器可以时不变(或者自适应)。目标消除波束形成器可以时不变(或者自适应)。目标保持波束形成器和目标消除波束形成器可根据固定的导向向量确定。
每一波束形成器可配置成根据所述电输入信号或源自其的信号以及固定或自适应确定的波束形成器滤波器系数提供空间滤波的信号。波束形成器滤波器系数可根据导向向量进行确定,其包括相应的a)从所述环境中提供目标信号的目标信号源到多个输入变换器中的每一个的声学传递函数或者b)从多个输入变换器中的参考输入变换器到其余输入变换器中的每一个的声学传递函数作为元素。
自适应降噪参数(β或矩阵β)可(例如在组合单元中)应用于来自目标消除波束形成器的空间滤波的信号。目标消除波束形成器的输出(噪声估计量)从而可被滤波,例如通过将(通常随频率而变的)自适应参数(β)与目标消除波束形成器的(通常随频率而变的)输出相乘,从而在目标保持波束形成器的输出(目标信号估计量)中提供噪声分量的改善的估计量。改善的噪声估计量可随后从目标保持波束形成器的输出(目标信号估计量)减去(例如参见图2、3),从而提供噪声降低的目标信号。
仅有自我话音检测器,或者包括仅有自我话音检测器的听力装置
在本申请的一方面,提供仅有自我话音检测器。
仅有自我话音检测器例如可与根据本发明的包括目标自适应模块的听力装置一体,目标自适应模块连接到多个输入变换器和至少一波束形成器,其中目标自适应模块配置成提供补偿信号以补偿多个电输入信号使得它们匹配至少一波束形成器的固定的导向向量。
仅有自我话音检测器例如可与第一或第二上面描述的、“具体实施方式”中详细描述的或权利要求中限定的听力装置(如助听器、耳机或耳麦)结合或一体。
至少一波束形成器可包括自我话音波束形成器。
目标自适应模块包括仅有自我话音检测器。
目标自适应模块可包括用于估计补偿信号的至少一自适应滤波器。
至少一自适应滤波器可配置成自适应确定将应用于电输入信号以提供补偿信号的至少一校正因子。目标自适应模块的至少一自适应滤波器可包括自适应算法。自适应算法可以是或者可包括复数符号最小均方(LMS)算法。
自适应滤波器可配置成向仅有自我话音检测器提供至少一校正因子。
仅有自我话音检测器可配置成提供仅有自我话音控制信号,其指明用户的自我话音当前是否或者以何种概率是听力装置的电输入信号中存在的唯一话音。
仅有自我话音检测器可配置成在时频域运行(以提供给定频带(在给定时间)即给定时频单元是否或者以何种概率仅包括用户话音(即不是a)其它话音或b)其它话音与用户话音混合或c)仅有噪声)的时变指示)。
仅有自我话音检测器可配置成在时域提供仅有自我话音控制信号,其指明用户的自我话音当前是否为听力装置的电输入信号中存在的唯一话音。仅有自我话音控制信号可通过与(一般的,例如基于调制的)话音活动检测器组合例如通过逻辑组合而适格。
听力装置如目标自适应模块可配置成根据仅有自我话音控制信号确定何时更新至少一校正因子。
仅有自我话音检测器可配置成比较当前校正因子和(随频率而变的)平均校正因子。平均校正因子可以是仅有自我话音检测器的内部参数,例如确定为对多个不同的受试人员测得的值的平均值。平均校正因子例如可表示由目标自适应模块的自适应滤波器确定的校正因子的平均值。平均校正因子例如可通过对目标自适应模块的自适应滤波器确定的校正因子进行滤波(例如通过平滑和/或低通滤波)而产生。
基于当前校正因子与(随频率而变的)平均校正因子的比较,可提供距离度量z(k)。该距离度量是校正因子的当前(随频率而变的)值与平均值相差多远的度量。
距离度量例如可根据当前声环境通过加权因子进行修正。当前声环境可或多或少可能与仅有自我话音情形结合。有噪声的鸡尾酒会情形例如可负面影响仅有自我话音的概率。
根据本发明的、示例性的仅有自我话音检测器在下面结合图8和9描述。
上面描述的、“具体实施方式”中详细描述的或权利要求限定的第一和第二听力装置的部分或所有结构特征可与仅有自我话音检测器的实施结合。
下面的特征可与根据第一或第二方面的听力装置结合,或者,只要适当,可与仅有自我话音检测器结合。
与第一和第二助听器(和/或仅有自我话音检测器)有关的特征
误差信号e是给定经补偿的输入信号与固定的导向向量多好地匹配的度量。匹配固定的导向向量例如可包括匹配复值导向向量,例如分开地匹配实部和虚部。作为备选,我们可仅匹配导向向量的量值(或量值平方)或者相位(或者二者)。
匹配例如可通过使(来自给定(非参考)传声器的)给定当前电输入信号与来自参考传声器的、通过(固定)波束形成器的导向向量修正的电输入信号之间的误差(例如差)最小化而实现(例如参见图3(一般情形)或者4A(双传声器情形))。从而,多个电输入信号可被补偿使得它们匹配固定的导向向量。匹配例如可由处理器如至少一波束形成器提供。
处理器(例如自适应滤波器,例如目标自适应模块的自适应滤波器)可配置成使来自给定非参考输入变换器的给定当前电输入信号与来自参考传声器的、通过至少一波束形成器的导向向量修正的电参考输入信号之间的误差最小化,从而补偿多个电输入信号使得它们匹配固定的导向向量。
根据本发明的解决方案与用于波束形成的视向量估计有关,但代替基于估计的导向向量计算新的波束形成器,提出补偿现有波束形成器的输入以匹配现有波束形成器的视向量。
处理器可包括降噪系统(例如噪声消除器)。降噪系统可包括波束形成器。根据本发明的波束形成器可形成降噪系统的一部分。然而,作为备选或另外,根据本发明的波束形成器可用于其它任务,例如结合其它算法如回声消除、自我话音检测等。
目标自适应模块可包括(例如至少一)用于估计补偿信号的自适应滤波器。
(目标自适应模块的)至少一自适应滤波器可配置成自适应确定将应用于电输入信号的至少一校正因子。
听力装置(例如目标自适应模块)可包括话音活动检测器,用于估计输入信号在给定时间点是否或者以何种概率包括话音信号,其中至少一自适应滤波器受话音活动检测器控制。
至少一波束形成器可包括自我话音波束形成器,目标自适应模块可包括配置成确定何时更新至少一校正因子的仅有自我话音检测器。
自适应滤波器可包括自适应算法和可变滤波器,其中自适应算法包括步长参数,及其中自适应算法配置成确定步长参数的符号。
自适应算法可以是复数符号最小均方(LMS)算法。自适应算法可配置成根据“电输入信号”和误差信号确定步长参数的符号。在多传声器系统(例如M≥2或M≥3)原理(例如参见图7)中,我们只需要使不同传声器相对于参考传声器之间的传递函数最小化。在M=3个传声器的情形下,导向向量可写为d=[1,d2,d3]。一种选择是分开地具有两个并行的、与图4A或4B中所示系统类似的系统,如图7中所示。
输入变换器之一可定义为参考输入变换器。(通常随频率而变的)声学传递函数ATF可包括绝对声学传递函数(AATF)或相对声学传递函数(RATF)。为确定相对声学传递函数(RATF),对于目标声源的给定位置(θ),例如从对应的绝对声学传递函数(Hθ)确定RATF向量(dθ),对于第m个输入变换器(如传声器)和方向(θ),RATF向量(dθ)的元素dm为dm(k,θ)=Hm(θ,k)/Hi(θ,k),其中Hi(θ,k)为从给定位置(θ)到听力装置的M个输入变换器(如传声器)之中的参考输入变换器(例如参考传声器)(m=i)的(绝对)声学传递函数。(给定人造或自然人的)前述绝对和相对传递函数可(例如在使用听力装置之前)进行估计并存储在数据库中(例如听力装置的存储器中)。对于来自给定位置(θ)的声音,所得的(绝对)声学传递函数(AATF)向量Hθ可写为:
H(θ,k)=[H1(θ,k)…HM(θ,k)]T,k=1,…,K
来自该位置的相对声学传递函数(RATF)向量dθ可写为
d(θ,k)=[d1(θ,k)…dM(θ,k)]T,k=1,…,K
其中M为输入变换器(如传声器)的数量。
处理器可配置成将一个或多个处理算法应用于多个电输入信号或者源自其的一个或多个信号。除了降噪算法(或多个降噪算法)之外,处理器还可配置成应用压缩放大算法以补偿用户的听力受损、反馈控制和/或回声消除算法等。
至少一波束形成器可分别包括时不变、目标保持波束形成器(wH)和时不变、目标消除波束形成器目标保持波束形成器(wH)可配置成保留来自目标方向的声音,同时衰减来自其它方向的声音(或衰减来自更不同于来自目标方向的声音的、其它方向的声音)。目标消除波束形成器/>可配置成消除(或最大程度地衰减)来自目标方向(例如用户正面)的声音,同时较少地衰减来自其它方向的声音。
听力装置还可包括噪声消除器,其包括用于估计自适应降噪参数并提供噪声降低的目标信号(y)的自适应滤波器。自适应降噪参数(β)可配置成应用于来自目标消除波束形成器的空间滤波的信号。目标消除波束形成器的输出(b)可通过使(通常随频率而变的)自适应参数(β)与目标消除波束形成器/>的(通常随频率而变的)输出(b)相乘而进行滤波,从而在时不变、目标保持波束形成器(wH)的输出中提供噪声分量的估计量(NE)。该噪声估计量(NE)可随后从时不变、目标保持波束形成器(wH)的输出(a)减去(例如参见图2、3、4A),从而提供噪声降低的目标信号(y)。
自适应滤波器的自适应算法可包括复数符号最小均方(LMS)算法。自适应算法可配置成根据目标消除波束形成器的输出(b)和噪声降低的目标信号(y)确定步长参数的符号。(复数x的)复数符号可定义为实部(xR)和虚部(xI)的符号,即sign(x)=sign(xR)+jsign(xI)。
听力装置可包括后滤波器,其根据空间滤波的信号及可选地根据一个或多个另外的信号提供所得的噪声降低的信号(yNR),该信号在目标信号中展现噪声的进一步降低。一个或多个另外的信号例如可包括根据自适应降噪参数(β)确定的噪声估计。后滤波器例如可根据所述根据自适应降噪参数(β)确定的噪声估计提供所得的噪声降低的信号。
听力装置可包括输出变换器,用于将处理后的信号转换为可由用户感知为声音的刺激。听力装置可包括发射器,用于将处理后的信号传给另一装置例如处理装置(如计算机或个人(可穿戴)处理装置)或者通信装置例如电话如智能电话。
听力装置可由助听器如空气传导型助听器、骨导型助听器、耳蜗植入型助听器或者耳机或者其组合构成或者包括助听器如空气传导型助听器、骨导型助听器、耳蜗植入型助听器或者耳机或者其组合。
听力装置如助听器可适于提供随频率而变的增益和/或随电平而变的压缩和/或一个或多个频率范围到一个或多个其它频率范围的移频(具有或没有频率压缩)以补偿用户的听力受损。听力装置可包括用于增强输入信号并提供处理后的输出信号的信号处理器。
听力装置可包括输出单元,用于基于处理后的电信号提供由用户感知为声学信号的刺激。输出单元可包括耳蜗植入物的多个电极(对于CI型助听器而言)或者骨导助听器的振动器。输出单元可包括输出变换器。输出变换器可包括用于将刺激作为声信号提供给用户的接收器(扬声器)(例如在声学(基于空气传导的)助听器或耳机的耳件中)。输出变换器可包括用于将刺激作为颅骨的机械振动提供给用户的振动器(例如在附着到骨头的或骨锚式助听器中)。输出单元可(另外或作为备选)包括用于将听力装置拾取的声音(例如经网络,例如在助听器的电话运行模式下,或在耳机配置中)传给另一装置如远端通信伙伴的发射器。
听力装置可包括用于提供表示声音的电输入信号的输入单元。输入单元可包括用于将输入声音转换为电输入信号的输入变换器如传声器。输入单元可包括无线接收器,用于接收包括或表示声音的无线信号并提供表示所述声音的电输入信号。无线接收器例如可配置成接收在无线电频率范围(3kHz到300GHz)的电磁信号。无线接收器例如可配置成接收在光频率范围(例如红外光300GHz到430THz或者可见光如430THz到770THz)的电磁信号。
听力装置可包括定向传声器系统,其适于对来自环境的声音进行空间滤波从而增强佩戴听力装置的用户的局部环境中的多个声源之中的目标声源。定向系统可适于检测(如自适应检测)传声器信号的特定部分源自哪一方向。这可以例如现有技术中描述的多种不同方式实现。在听力装置中,传声器阵列波束形成器通常用于空间上衰减背景噪声源。许多波束形成器变型可在文献中找到。最小方差无失真响应(MVDR)波束形成器广泛用在传声器阵列信号处理中。理想地,MVDR波束形成器保持来自目标方向(也称为视向)的信号不变,而最大程度地衰减来自其它方向的声音信号。广义旁瓣抵消器(GSC)结构是MVDR波束形成器的等同表示,其相较原始形式的直接实施提供计算和数字表示优点。
听力装置可包括天线和收发器电路,其使能建立到娱乐设备(例如电视机)、通信装置(如电话)、无线传声器或另一听力装置等的无线链路。听力装置因而可配置成从另一装置无线接收直接电输入信号。类似地,听力装置可配置成将直接电输入信号无线传给另一装置。直接电输入信号可表示或包括音频信号和/或控制信号和/或信息信号。
一般地,听力装置的天线及收发器电路建立的无线链路可以是任何类型。无线链路可以是基于近场通信的链路,例如基于发射器部分和接收器部分的天线线圈之间的感应耦合的感应链路。无线链路可基于远场电磁辐射。优选地,用于在听力装置和另一装置之间建立通信链路的频率低于70GHz,例如位于从50MHz到70GHz的范围中,例如高于300MHz,例如在高于300MHz的ISM范围中,例如在900MHz范围中或在2.4GHz范围中或在5.8GHz范围中或在60GHz范围中(ISM=工业、科学和医学,这样的标准化范围例如由国际电信联盟ITU定义)。无线链路可基于标准化或专用技术。无线链路可基于蓝牙技术(如低功耗蓝牙技术)或超宽带(UWB)技术。
听力装置可以是或可形成便携式(即配置成可穿戴的)设备的一部分,例如包括本地能源如电池例如可再充电电池的设备。听力装置例如可以是低重量、容易穿戴的设备。
听力装置可包括听力装置的输入和输出单元之间的、用于处理音频信号的“正向”(或“信号”)通路。信号处理器可位于该正向通路中。信号处理器可适于根据用户的特定需要(例如听力受损)提供随频率而变的增益。听力装置可包括具有用于分析信号和/或控制正向通路的处理的功能件的“分析”通路。分析通路和/或正向通路的部分或所有信号处理可在频域进行,在该情形下,听力装置包括适当的分析和合成滤波器组。分析通路和/或正向通路的部分或所有信号处理可在时域进行。
表示声信号的模拟电信号可在模数(AD)转换过程中转换为数字音频信号,其中模拟信号以预定采样频率或采样速率fs进行采样,fs例如在从8kHz到48kHz的范围中(适应应用的特定需要)以在离散的时间点tn(或n)提供数字样本xn(或x[n]),每一音频样本通过预定的Nb比特表示声信号在tn时的值,Nb例如在从1到48比特的范围中如24比特。每一音频样本因此使用Nb比特量化(导致音频样本的2Nb个不同的可能的值)。数字样本x具有1/fs的时间长度,如50μs,对于fs=20kHz。多个音频样本可按时间帧安排。一时间帧可包括64个或128个音频数据样本。根据实际应用可使用其它帧长度。
听力装置可包括模数(AD)转换器以按预定的采样速率如20kHz对模拟输入(例如来自输入变换器如传声器)进行数字化。听力装置可包括数模(DA)转换器以将数字信号转换为模拟输出信号,例如用于经输出变换器呈现给用户。
听力装置如输入单元和/或天线及收发器电路可包括变换单元,用于将时域信号转换为变换域(例如频域或拉普拉斯(Laplace)域等)中的信号。变换单元可由时频(TF)转换单元构成或包括时频转换单元,其用于提供输入信号的时频表示。时频表示可包括所涉及信号在特定时间和频率范围的相应复值或实值的阵列或映射。TF转换单元可包括用于对(时变)输入信号进行滤波并提供多个(时变)输出信号的滤波器组,每一输出信号包括截然不同的输入信号频率范围。TF转换单元可包括用于将时变输入信号转换为(时-)频域中的(时变)信号的傅里叶变换单元(例如离散傅里叶变换(DFT)算法、短时傅里叶变换(STFT)算法、或类似算法)。听力装置考虑的、从最小频率fmin到最大频率fmax的频率范围可包括从20Hz到20kHz的典型人听频范围的一部分,例如从20Hz到12kHz的范围的一部分。通常,采样率fs大于或等于最大频率fmax的两倍,即fs≥2fmax。听力装置的正向通路和/或分析通路的信号可拆分为NI个(例如均匀宽度的)频带,其中NI例如大于5,如大于10,如大于50,如大于100,如大于500,至少其部分个别进行处理。听力装置可适于在NP个不同频道处理正向和/或分析通路的信号(NP≤NI)。频道可以宽度一致或不一致(如宽度随频率增加)、重叠或不重叠。
听力装置可配置成在不同模式下运行,如正常模式及一个或多个特定模式,例如可由用户选择或者可自动选择。运行模式可针对特定声学情形或环境进行优化。运行模式可包括低功率模式,其中听力装置的功能被减少(例如以便节能),例如禁用无线通信和/或禁用听力装置的特定特征。
听力装置可包括多个检测器,其配置成提供与听力装置的当前网络环境(如当前声环境)有关、和/或与佩戴听力装置的用户的当前状态有关、和/或与听力装置的当前状态或运行模式有关的状态信号。作为备选或另外,一个或多个检测器可形成与听力装置(如无线)通信的外部装置的一部分。外部装置例如可包括另一听力装置、遥控器、音频传输装置、电话(如智能电话)、外部传感器等。
多个检测器中的一个或多个可对全带信号起作用(时域)。多个检测器中的一个或多个可对频带拆分的信号起作用((时-)频域),例如在有限的多个频带中。
多个检测器可包括用于估计正向通路的信号的当前电平的电平检测器。检测器可配置成决定正向通路的信号的当前电平是否高于或低于给定(L-)阈值。电平检测器作用于全频带信号(时域)。电平检测器作用于频带拆分信号((时-)频域)。
听力装置可包括话音活动检测器(VAD),用于估计输入信号(在特定时间点)是否(或者以何种概率)包括话音信号。在本说明书中,话音信号可包括来自人类的语音信号。其还可包括由人类语音系统产生的其它形式的发声(如唱歌)。话音活动检测器单元可适于将用户当前的声环境分类为“话音”或“无话音”环境。这具有下述优点:包括用户环境中的人发声(如语音)的电传声器信号的时间段可被识别,因而与仅(或主要)包括其它声源(如人工产生的噪声)的时间段分离。话音活动检测器可适于将用户自己的话音也检测为“话音”。作为备选,话音活动检测器可适于从“话音”的检测排除用户自己的话音。话音活动检测器可配置成用作仅噪声检测器。
听力装置可包括自我话音检测器,用于估计特定输入声音(如话音,如语音)是否(或以何种概率)源自系统用户的话音。听力装置的传声器系统可适于能够在用户自己的话音及另一人的话音之间进行区分及可能与无话音声音区分。
多个检测器可包括运动检测器,例如加速度传感器。运动检测器可配置成检测用户面部肌肉和/或骨头的例如因语音或咀嚼(如颌部运动)引起的运动并提供标示该运动的检测器信号。
听力装置可包括分类单元,配置成基于来自(至少部分)检测器的输入信号及可能其它输入对当前情形进行分类。在本说明书中,“当前情形”可由下面的一个或多个定义:
a)物理环境(如包括当前电磁环境,例如出现计划或未计划由听力装置接收的电磁信号(包括音频和/或控制信号),或者当前环境不同于声学的其它性质);
b)当前声学情形(输入电平、反馈等);
c)用户的当前模式或状态(运动、温度、认知负荷等);
d)听力装置和/或与听力装置通信的另一装置的当前模式或状态(所选程序、自上次用户交互之后消逝的时间等)。
分类单元可基于或包括神经网络例如经训练的神经网络。
听力装置可包括声(和/或机械)反馈控制(如抑制)或者回声消除系统。自适应反馈抵消有能力跟踪反馈通路随时间的变化。其通常基于估计反馈通路的线性时不变滤波器,但滤波器权重随时间更新。滤波器更新可使用随机梯度算法进行计算,包括某一形式的最小均方(LMS)或归一化LMS(NLMS)算法。它们均具有在均方方面使误差信号最小化的性质,NLMS另外使滤波器更新关于某一参考信号的欧几里得范数的平方归一化。
听力装置还可包括用于所涉及应用的其它适宜功能,如压缩、降噪等。
听力装置可包括听力仪器,例如适于位于用户耳朵处或者完全或部分位于耳道中的听力仪器、头戴式耳机、耳麦、耳朵保护装置或其组合。听力系统可包括喇叭扩音器(包含多个输入变换器和多个输出变换器,例如用在音频会议情形),例如包括波束形成器滤波单元,例如提供多个波束形成能力。
应用
一方面,提供如上所述的、“具体实施方式”部分中详细描述的和权利要求中限定的听力装置的应用。可提供在包括一个或多个听力装置(如听力仪器(助听器))、耳机、耳麦、主动耳朵保护系统等的系统中的应用,例如免提电话系统、远程会议系统(例如包括喇叭扩音器)、广播系统、卡拉OK系统、教室放大系统等。
方法
一方面,本申请进一步提供配置成由用户佩戴的听力装置的运行方法。该方法包括:
-提供表示听力装置环境中的声音的多个电输入信号;
-至少通过根据所述电输入信号或源自其的信号以及波束形成器滤波器系数提供空间滤波的信号而根据多个电输入信号提供处理后的信号,所述波束形成器滤波器系数根据固定的导向向量进行确定,该导向向量将从提供目标信号的目标信号源到多个输入变换器中的每一个的相应声学传递函数或者从多个输入变换器中的参考输入变换器到其余输入变换器中的每一个的声学传递函数包括为元素。
所述方法还可包括提供补偿信号以补偿所述多个电输入信号使得它们匹配所述固定的导向向量。
当由对应的过程适当代替时,上面描述的、“具体实施方式”中详细描述的或权利要求中限定的装置的部分或所有结构特征可与本发明方法的实施结合,反之亦然。方法的实施具有与对应装置一样的优点。
计算机可读介质或数据载体
本发明进一步提供保存包括程序代码(指令)的计算机程序的有形计算机可读介质(数据载体),当计算机程序在数据处理系统(计算机)上运行时,使得数据处理系统执行(实现)上面描述的、“具体实施方式”中详细描述的及权利要求中限定的方法的至少部分(如大部分或所有)步骤。
作为例子但非限制,前述有形计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储器、磁盘存储器或其他磁性存储装置,或者可用于执行或保存指令或数据结构形式的所需程序代码并可由计算机访问的任何其他介质。如在此使用的,盘包括压缩磁盘(CD)、激光盘、光盘、数字多用途盘(DVD)、软盘及蓝光盘,其中这些盘通常磁性地复制数据,同时这些盘可用激光光学地复制数据。其它存储介质包括存储在DNA中(例如合成的DNA链中)。上述盘的组合也应包括在计算机可读介质的范围内。除保存在有形介质上之外,计算机程序也可经传输介质如有线或无线链路或网络如因特网进行传输并载入数据处理系统从而在不同于有形介质的位置处运行。
计算机程序
此外,本申请提供包括指令的计算机程序(产品),当该程序由计算机运行时,导致计算机执行上面描述的、“具体实施方式”中详细描述的及权利要求中限定的方法(的步骤)。
数据处理系统
一方面,本发明进一步提供数据处理系统,包括处理器和程序代码,程序代码使得处理器执行上面描述的、“具体实施方式”中详细描述的及权利要求中限定的方法的至少部分(如大部分或所有)步骤。
听力系统
另一方面,提供包括上面描述的、“具体实施方式”中详细描述的及权利要求中限定的听力装置及包括辅助装置的听力系统。
听力系统可适于在听力装置与辅助装置之间建立通信链路以使得信息(如控制和状态信号,可能音频信号)可进行交换或者从一装置转发给另一装置。
辅助装置可包括遥控器、智能电话或者其它便携或可穿戴电子装置智能手表等。
辅助装置可由遥控器构成或者包括遥控器,其用于控制听力装置的功能和运行。遥控器的功能可实施在智能电话中,该智能电话可能运行使能经智能电话控制听力装置的功能的APP(听力装置包括适当的、到智能电话的无线接口,例如基于蓝牙或一些其它标准化或专有方案如UWB)。
辅助装置可由音频网关设备构成或者包括音频网关设备,其适于(例如从娱乐装置如TV或音乐播放器、从电话设备如移动电话或者从计算机如PC)接收多个音频信号并适于选择和/或组合所接收的音频信号中的适当信号(或信号组合)以传给听力装置。
辅助装置可由另一听力装置构成或者包括另一听力装置(例如助听器、或者耳机的另一(第二)耳件)。听力系统可包括适于实施双耳听力系统例如双耳助听器系统或者耳机的两个耳件的两个助听器。
APP
另一方面,本发明还提供称为APP的非短暂应用。APP包括可执行指令,其配置成在辅助装置上运行以实施用于上面描述的、“具体实施方式”中详细描述的及权利要求中限定的听力装置或听力系统的用户接口。该APP可配置成在移动电话如智能电话或另一使能与所述听力装置或听力系统通信的便携装置上运行。
附图说明
本发明的各个方面将从下面结合附图进行的详细描述得以最佳地理解。为清晰起见,这些附图均为示意性及简化的图,它们只给出了对于理解本发明所必要的细节,而省略其他细节。在整个说明书中,同样的附图标记用于同样或对应的部分。每一方面的各个特征可与其他方面的任何或所有特征组合。这些及其他方面、特征和/或技术效果将从下面的图示明显看出并结合其阐明,其中:
图1A示出了时不变降噪系统的第一实施例,其包括目标保持波束形成器;
图1B示出了时不变降噪系统的第二实施例,其包括相应的目标保持波束形成器和目标消除波束形成器以及后滤波器;
图2示出了时不变降噪系统的实施例,其包括相应的目标保持波束形成器和目标消除波束形成器以及后滤波器,还包括根据本发明的噪声场自适应;
图3示出了广义旁瓣抵消器结构的多传声器输入波束形成器;
图4A示出了时不变降噪系统,其包括相应的目标保持波束形成器和目标消除波束形成器以及后滤波器,还包括根据本发明的噪声自适应和目标导向自适应;
图4B示出了时不变波束形成器系统,其包括相应的目标保持波束形成器和目标消除波束形成器以及根据本发明的目标导向自适应;
图5A示出了包括根据本发明实施例的降噪系统的听力装置的示例性框图;
图5B示出了包括根据本发明实施例的降噪系统并处于免提电话或耳机运行模式的听力装置的示例性框图;
图6示出了时不变降噪系统的实施例,其包括相应的时不变目标保持和目标消除波束形成器,还包括根据本发明的噪声场自适应;
图7示出了多传声器、降噪系统,其包括相应的(时不变)目标保持和目标消除波束形成器以及相应的根据本发明的噪声自适应和目标导向自适应;
图8示出了根据本发明的自我话音波束形成器的目标信号自适应;
图9为图8中的仅有自我话音检测器(OVOD)的示例性框图。
通过下面给出的详细描述,本发明进一步的适用范围将显而易见。然而,应当理解,在详细描述和具体例子表明本发明优选实施例的同时,它们仅为说明目的给出。对于本领域技术人员来说,基于下面的详细描述,本发明的其它实施方式将显而易见。
具体实施方式
下面结合附图提出的具体描述用作多种不同配置的描述。具体描述包括用于提供多个不同概念的彻底理解的具体细节。然而,对本领域技术人员显而易见的是,这些概念可在没有这些具体细节的情形下实施。装置和方法的几个方面通过多个不同的块、功能单元、模块、元件、电路、步骤、处理、算法等(统称为“元素”)进行描述。根据特定应用、设计限制或其他原因,这些元素可使用电子硬件、计算机程序或其任何组合实施。
电子硬件可包括微机电系统(MEMS)、(例如专用)集成电路、微处理器、微控制器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、选通逻辑、分立硬件电路、印刷电路板(PCB)(例如柔性PCB)、及配置成执行本说明书中描述的多个不同功能的其它适当硬件,例如用于感测和/或记录环境、设备、用户等的物理性质的传感器。计算机程序应广义地解释为指令、指令集、代码、代码段、程序代码、程序、子程序、软件模块、应用、软件应用、软件包、例程、子例程、对象、可执行、执行线程、程序、函数等,无论是称为软件、固件、中间件、微码、硬件描述语言还是其他名称。
本申请涉及听力装置如助听装置领域,例如耳机或助听器。
在助听装置中,需要针对不同应用捕获和增强语音。
增强语音的有效方式是使用多通道降噪技术例如波束形成。波束形成系统的目的在于两方面:在将不太重要的背景噪声抑制到某一水平的同时无失真地通过语音信号。
时不变波束形成器对于降噪系统可能是良好的起点,如果可能使关于目标和背景噪声的现有假设合理。在助听器系统中,目标从佩戴助听器系统的用户的正面入射可能是尚可的假设。另一方面,在耳机使用情形下,想要的(目标)语音来自用户嘴巴及其它方向和距离的所有声源假定为噪声源是尚可的假设。
在喇叭扩音器使用情形下,目标语音通常可能从任何方向(其可动态变化)入射在传声器上。在喇叭扩音器中,可定义多个(例如四个)固定的方向,对于每一方向,可实施固定波束形成器。
图1A示出了时不变降噪系统的第一实施例,其包括目标保持波束形成器。降噪系统包括连接到多个(在此为两个)输入变换器(在此为传声器(M1,M2))的时不变波束形成器(wH),每一输入变换器将其输入处的声学输入信号转换为电输入信号(x1,x2),其中上标H指厄米()转置。波束形成器权重记为wH(在与输入信号相乘时,因权重被复共轭和转置而求根)。
图1A(及图1B、2、3)中记为“信号模型”的最左部示意性地示出了目标信号从目标信号源TS到相应输入变换器的声学传播的信号模型,以及在相应输入变换器处添加噪声(v1,v2)。可在连接到降噪系统的传声器(例如听力装置的传声器)之中选择参考传声器。在此,传声器M1被选择为参考传声器。参考传声器例如可选择为预期从目标方向拾取最多能量的传声器。在图1A(1B、2、3)的记法中,参考传声器M1处的声学输入信号x1等于目标信号s与附加噪声v1(二者均在参考传声器处接收)的和,即x1=s+v1。在(非参考)另外的传声器M2处,声学输入信号x2等于参考传声器M1处的目标信号s乘以从参考传声器M1到另外的传声器M2的(相对)声学传递函数d2后与附加噪声v2的和,即x2=s·d2+v2。在两个传声器(M1,M2)的“电气侧”,第一和第二电输入信号可类似地分别写为x1=s+v1和x2=s·d2+v2,或者按向量表达记为x=s·d+v,其中x=[x1,x2]T、d=[1,d2]T和v=[v1,v2]T。在图1A(1B、2、3)中,示出了两个输入变换器(传声器),但该数量(M)可以更大,例如三个以上或四个以上,等等,在该情形下,信号模型将一样,但向量具有维度M:x=[x1,x2,…,xM]T、d=[1,d2,…,dM]T及v=[v1,v2,…,vM]T。
在记为“信号模型”的输入级后面(“输入级的下游”),在图1A(及图1B、2、3)中包括称为“波束形成器”的部分。该“波束形成器”部分示意性地示出了(图1A、1B、2、3的相应实施例中不同种类的)波束形成器。在图1A(1B、2)的实施例中,来自第一和第二传声器(M1,M2)的第一和第二电输入信号(x1,x2)馈给降噪系统的时不变波束形成器wH。时不变波束形成器将(固定的)通常复值的滤波器系数w应用于第一和第二电输入信号并将空间滤波的信号a提供为第一和第二电输入信号(x1,x2)的加权组合,其中权重为波束形成器的滤波器系数w。换言之,a=w1·x1+w2·x2,其中w1和w2为滤波器系数(w=[w1,w2]T),其中MVDR波束形成器的滤波器系数(一般)确定为
其中Cv为当前噪声场(例如基于噪声的假设如无向性)的(传声器间)噪声协方差矩阵。在MVDR波束形成中,例如传声器信号被处理使得从目标方向入射在所选参考传声器处的声音不被波束形成器改变(“无失真”)。在图1A的实施例中,单一波束形成器(记为wH)提供空间滤波的信号a。图1A实施例的降噪系统(在图1A、1B、2、3中由记为NRS的括号标示)的输出信号y等于来自波束形成器wH的空间滤波的信号a。
1)鲁棒的时不变波束形成器
图1A中所示的示例性时不变波束形成器的目的在于提供“最好的可能波束形成器”使得其“平均起来”仅以很小失真捕获目标信号。在本说明书中,“鲁棒性”例如可意为相较于最佳性能,更好的平均性能。在欠佳条件下,波束形成器将不会“崩坏”,其表现将“还好”。换言之,该解决方案是性能与适应各种变化之间的权衡。
术语“平均起来”意为考虑声学和设备变化。这可以是与设备位置、个体头和躯干声学(用户变化、头的大小、耳朵、运动、振动等)、设备变化和生产公差(传声器灵敏度组装、塑料、老化、变形等)有关的变化。“平均起来”可意为我们不适应个体差异但相当程度地估计了跨不同变化具有最佳性能的一组参数。如果我们仅具有一组参数(权重),我们目标在于对于大多数个体具有高的平均性能,而不是对于少数几个可能实现更高的性能,也不是对于许多个体可能实现更低的性能。
另外,该实施例的时不变波束形成器需要噪声场假设。如果不能进行特定假设,通常使用无关联噪声(即传声器噪声)和/或全向噪声场(噪声从任何方向均同等地可能并以同样的强度出现)。
实际噪声场的初始表示通过鲁棒的目标消除波束形成器wtc获得,即“平均起来”提供目标分量的尽可能衰减并保留输入声音场的其余部分尽可能不变的空间滤波器/波束形成器。这将良好表示的背景噪声提供为自适应噪声消除器的输入。这在图1B中示出。
图1B示出了降噪系统NRS的第二示例性实施例,其包括相应的(时不变)目标保持波束形成器和目标消除波束形成器(分别记为wH和)以及(时不变)后滤波器。目标保持波束形成器wH在上面描述。目标消除波束形成器配置成消除(或者最大程度地衰减)来自目标方向(例如用户前面)的声音同时较少地衰减来自其它方向的声音。图1B的(双输入)目标消除波束形成器的滤波器权重可确定为:
其中d为声音从目标信号源到听力装置的传声器(M1,M2)的声学传递函数向量(例如包括声音从目标声源入射到参考传声器M1上的传播的相对传递函数(RTF或d))。在图1B的双传声器例子中,相对传递函数向量d可写为d=[1,d2]T,其中d2为声音从目标声源到第二传声器M2的传递函数(例如称为“绝对传递函数”ATF2),相对于声音从目标声源到参考传声器M1(如上面针对时不变波束形成器描述的)的传递函数ATF1。目标消除波束形成器提供空间滤波的信号b作为第一和第二电输入信号(x1,x2)的加权组合,其中权重为目标消除波束形成器的滤波器系数wtc。来自目标保持波束形成器和目标消除波束形成器(分别为wH和/>)的空间滤波的信号(a,b)馈给后滤波器,例如根据空间滤波的信号以及可能的一个或多个另外的(控制)信号提供目标信号中噪声的进一步降低。后滤波器提供噪声降低的信号yNR。
时不变波束形成器例如可使用最小方差无失真响应(Minimum VarianceDistortionless Response,MVDR)进行设计,目标在于具有典型导向向量和无关联或全向的噪声假设。关于“典型导向向量”的含义,其可指跨用户的头部、佩戴风格等典型,例如上面关于术语“平均起来”以及下面关于MVDR公式的段落指明的。为了针对导向向量变化而具有鲁棒性,可构想更一般的目标函数。该目标函数可通过多种优化方法求解,其中采用变异性的数据和/或模型。
用于确定波束形成器滤波器系数的MVDR公式
需要导向向量d作为输入参数。导向向量表示对于给定入射声源,参考传声器与其它传声器之间的传递函数。
该传递函数可包括头部相关脉冲响应,即考虑传声器放在头上,例如放在安装在耳廓后面或耳廓中的助听器壳上。
典型导向向量d可表示跨典型头部估计的传递函数。或者,其可表示跨个体平均起来表现好的传递函数,例如在跨个体使方向性(或其它性能参数)最大化方面。
2)噪声场自适应
噪声场自适应可看作上面部分1)中的时不变(固定)波束形成器的附加。由于时不变波束形成器对于无关联噪声或全向噪声场最佳,可采用噪声场自适应来针对实际的噪声场实现更佳的波束形成器。这需要适应噪声场。
可采用自适应噪声消除系统,其中目标消除波束形成器的输出b被滤波(参见相乘单元“x”和自适应参数β*,其中β*中的*指复共轭使得其提供(来自部分1)和图1A、1B的)时不变波束形成器wH的输出中的噪声分量的估计量NE)。该噪声估计量NE随后从时不变波束形成器wH的输出a减去。这在图2中示出。
时不变波束形成器可由下式定义:
其中Cv为对角矩阵。从而提供使内部(传声器)噪声最小化的解决方案。
图2示出了时不变降噪系统NRS的实施例,其包括相应的目标保持波束形成器和目标消除波束形成器以及后滤波器(参见图1B),还包括根据本发明的噪声场自适应,参见图2中记为“噪声消除器”的部分。图2的实施例相当于图1B的实施例,但另外包含自适应噪声消除级(“噪声消除器”)。
(应用于传声器信号的滤波器的)滤波器系数例如可使用复数符号LMS算法(在图2(和3)中记为SIGN LMS)进行调整(即所得的应用于每一传声器信号的权重为(随频率而变的)滤波器系数)。也可使用其它自适应滤波器配置实施(例如参见参考文献[1,2])。自适应在由识别仅有噪声时间段的检测器(在图2(和3)中记为VAD)指明的仅有噪声时间段中进行。
自适应SIGN LMS算法例如可根据下面的递归表达式提供自适应参数:
其中l为时间指数,μ为自适应算法的步长,指“无话音活动”(换言之,仅有噪声时间段,例如由话音活动检测器提供)。参数/>例如可针对“仅有噪声”和“不只有话音”分别取值1和0(或者其可指“仅有噪声”的概率(例如具有0到1之间的值))。sign(y*)为时不变波束形成器wH的输出a的(进一步)噪声降低的输出(y=a–NE(复转置))的值的符号。sign(b)为时不变目标消除波束形成器/>的输出的复值的符号。
复值xc的符号在此定义为:
sign(xc)=sign(Re(xc))+jsign(Im(xc))
其中实值xr的符号定义为
实部和虚部复数符号sign(Re(xc))、sign(Im(xc))可仅取值-1或+1。
这样做的目的是减少共轭运算的数量(从而降低计算复杂性,这对于微型装置如助听器很重要)。
β的NLMS更新由下式给出:
该计算需要进行“除”(其代价高,最好避免)。如果我们仅考虑sign(y*b)=sign(y*)sign(b),如本发明中提出的,我们仍然使梯度方向正确。然而,梯度步长可能不是最佳。这样,优点在于(通过避免除法运算)提供降低的计算复杂性。
由于所提出的算法适应于噪声,相较于仅对“典型”噪声最佳的一组固定权重,我们得到改善的噪声估计量。
滤波器系数的准确度可通过仅在仅有噪声时间段更新它而得以提高。为实现此目标,可使用否定的目标检测器输出(参见上面的例如参见图8)或者仅有噪声检测器。在耳机应用中,可使用否定的自我话音检测器。同样,耳机(或处于通信模式的助听器)的远端信号输入可用于识别没有目标信号的时间段,假定没有含糊其辞的言谈。
话音检测器/自我话音检测器可以是频带特定,或者其可实施为宽带检测器(在给定时间对于所有频带具有同样的值)。
如果时不变波束形成器设计成没有导向向量(即使用不同于MVDR的其它目标函数),可使用下式针对任何双传声器时不变波束形成器w计算d2值:
其中d1=1和wHd=1.。对应的目标消除波束形成器可通过下式计算而找到:
其中d=[1,d2]T。
MVDR波束形成器的波束形成器权重的公式
为一般公式,其对M个传声器有效。并且噪声估计量从无失真信号减去的情形可一般化(通常称为广义旁瓣抵消器(generalized sidelobe canceller,GSC)),如下面描述的。
图3示出了包括广义旁瓣抵消器结构(GSC)的多输入波束形成器的多传声器系统。
上面的wtc等式实际为目标消除波束形成器针对M=2的特殊情形,其中自适应波束形成器权重定义为:
wGSC(k)=a-Bβ
其中a通常为不改变目标信号方向的、时不变M×1延迟和求和波束形成器向量,B为M×(M-1)大小的时不变阻塞矩阵,β为(M-1)×1自适应滤波向量。
矩阵B通过从矩阵H取M-1列得到,H定义为:
最佳的自适应系数由下式给出(例如参见[4]):
β=(BHCvB)-1BHCva
其中a和B彼此正交,即aHB=01×(M-1),β在不存在语音时更新。最佳的波束形成器权重因而计算为:
wGSC(k)=a-B(BHCvB)-1BHCva
对于M>2情形,该项也可通过梯度更新进行估计。
在M>2情形下,对于(M-1)×1β向量,复数符号-符号LMS(Complex Sign-Sign LMS)更新等式由下式给出:
其中b=BHx,及其中a和B固定,β自适应。
噪声场自适应的缺点在于时不变波束形成器的任何鲁棒性误差将被夸大,这样,噪声场自适应的性能改善可能降低,取决于声学情形多好地匹配时不变波束形成器。为改善该表现,可引入下面描述的目标导向自适应。
3)目标导向自适应
目标导向自适应可看作上面部分1)和2)中描述的波束形成器系统的附加。主要想法是对传声器信号滤波使得传声器处信号中的目标分量声学上匹配用于设计时不变波束形成器的信号模型(视向量)。换言之,校正的目的是使信号相位重新对齐以满足初始波束形成器设计。
目标导向自适应级的主要目的在于补偿声学和设备变化以实现目标语音的改进的捕获并减少目标信号的损失。此外,该补偿将改进上面部分2)中描述的系统的目标消除波束形成器,使得目标信号被衰减更多。
该解决方案与用于波束形成的视向量估计有关,但代替基于估计的导向向量计算新的波束形成器,提出现有波束形成器的输入被补偿以匹配现有波束形成器的视向量。
该解决方案包括除参考传声器之外的所有传声器上的校正滤波器。校正滤波器使用复数符号LMS算法进行调整,其中误差信号使用上面部分1)的固定波束形成器的导向向量进行计算。误差信号量化实际声学相较于波束形成器假定的信号模型的偏差。
原则上,补偿滤波器的更新仅在传声器信号由无噪声目标信号组成时进行。在实践中,在最可能目标信号为主时进行更新。这通过使用目标语音检测器实现。
目标语音检测器可基于目标输出功率与目标消除波束形成器输出功率的比。在自我话音增强情形下,可采用误差信号的量值来表征输入,即,如果误差信号的量值大,输入语音不可能是用户自我话音(而可能时不需要的外部语音源)。
图4A示出了时不变降噪系统,其包括相应的目标保持波束形成器和目标消除波束形成器以及后滤波器,还包括根据本发明的噪声自适应和目标导向自适应。
该算法需要导向向量d,其为时不变波束形成器导向向量。对于具有两个以上传声器的时不变波束形成器,导向向量为满足wHd=1和BHd=0的向量d,其中
B通过取H的(M)列中的(任何)M-1列而获得。
目标估计的目的在于监测目标信号与用于计算时不变波束形成器的视向量有多少偏差。这通过计算与传声器信号2,…,M对应的误差信号进行。
em=x1-c*xm,对于m=2,…,M
其中xm指第m个传声器,c为复数传声器校正系数。校正系数根据下式使用复数符号-符号LMS进行更新:
更新在仅具有目标活动的时频区域进行,l为时间指数。
(分别针对噪声场自适应和目标导向自适应的)两个LMS算法的步长μ可相互依存(例如相等)。然而,两个LMS算法的步长μ也可独立地确定,例如使得对背景噪声的自适应可设定为比对目标的自适应快。例如,在适应自我话音的情形下,对于目标自适应,具有更慢的步长μ可能有利。
步长也可跨频带变化。步长值的选择是收敛速度与准确度之间的折中。一般地,步长为时不变步长,但也可基于准确度的估计量例如误差信号的量值自适应地变化。
4)复数符号LMS
在下面,提出噪声自适应算法和目标自适应算法的低复杂性实施。(非复数)符号LMS算法是LMS算法的众所周知的低复杂性版本(例如参见参考文献[1],[2],[3])。
复数LMS(Complex LMS)指针对复数数据和系数的LMS算法。
符号LMS(Sign LMS)有许多变型,通常针对实值数据和权重(例如参见[3]):
误差取符号的LMS(Signed Error LMS)
h(n+1)=h(n)+μx(n)sign(e(n))
数据取符号的LMS(Signed Data LMS)
h(n+1)=h(n)+μsign(x(n))e(n)
符号-符号LMS(Sign-Sign LMS)
h(n+1)=h(n)+μsign(x(n))sign(e(n))
在所有这些情形下,针对实值的sign(符号函数)运算由下式给出:
复数符号LMS简单地为针对复值数据和系数的符号LMS。
例如,复数符号-符号算法
h(n+1)=h(n)+μsign(x(n))sign(e*(n))
(复数x的)复数符号可通过取实部(xR)和虚部(xI)的符号给出,即sign(x)=sign(xR)+jsign(xI)。
最小均方(LMS)更新规则由下式给出:
h(n+1)=h(n)+μx(n)e*(n)
其中h(n)为滤波器系数,x(n)为滤波器输入,e(n)为误差信号。该误差信号定义为:
e(n)=t(n)-h*(n)x(n)
其中t(n)为需要的信号。
滤波器系数h(n)例如可仅在检测到(自我)话音时例如仅在信噪比大于5dB或大于10dB时进行更新。滤波器系数可仅在误差小时即滤波器系数接近需要的传递函数d时进行更新。藉此避免对不感兴趣的方向自适应。
话音活动检测器(VAD)也可基于双耳判据,例如VAD决策基于左耳和右耳装置的组合。
用于目标自适应的话音活动检测器可不同于在噪声消除器中用于更新噪声估计量(β)的逆话音活动检测器。
更新步骤的量值取决于步长μ、输入信号x(n)和误差信号e(n)。
在复数符号LMS中,更新步骤的量值仅取决于步长。复数符号通过取实部和虚部的符号给出,即sign(x)=sign(xR)+jsign(xI)。在e*(n)和x(n)上应用复数符号算子有效地使量值规格化为因此,更新不再依赖于e*(n)和x(n)的量值。复数符号LMS的更新规则由下式给出:
h(n+1)=h(n)+μsign(x(n))sign(e*(n))
符号-符号LMS的缺点在于,如果选择非常大的步长来实现快速收敛,附加误差大并可导致听得见的非自然信号。这可通过双滤波器方法改进,其中我们定义前景和背景滤波器。前景滤波器为快速收敛的复数符号-符号LMS滤波器(大步长)。
e(n)=d(n)-h*(n)x(n)
h(n+1)=h(n)+μsign(x(n))sign(e*(n))
背景滤波器可根据下面的依据从前景系数更新:
背景滤波器的输出则用作算法输出信号。换言之,在前景滤波器具有较小的误差信号量值(具有临界值γ)时,背景滤波器为前景滤波器的平滑版本;否则,背景滤波器系数将不被更新。平滑运算是常见的一阶平滑,其中因子α为平滑系数。
双滤波器可用在LMS算法中用于预校正以及用在噪声消除器中。
其它度规可用于确定不同于误差信号e(n)的输入校正,例如上面h2(n+1)等式中的α,或者输入的现有知识或其它评估参数(例如SNR)。
图4B示出了时不变波束形成器系统,其包括相应的目标保持波束形成器和目标消除波束形成器以及根据本发明的目标导向自适应。图4B的实施例与图4A的实施例类似,但不包括噪声消除器模块。这样的仅有波束形成器的结构可用在不同于降噪的其它应用中,例如回声消除、自我话音估计(例如参见图8)等。
根据本发明的降噪系统的应用示例
图5A示出了听力装置如助听器HD的示例性框图,其包括根据本发明实施例的降噪系统NRS(例如参见图2、3、5)。听力装置包括用于(例如通过M个输入变换器如传声器)从环境拾取声音sin并提供多个(M个,M>1)电输入信号(S1,…,SM)的输入单元IU以及用于基于电输入信号及可选的另外的信息如模式控制信号(模式)估计输入声音sin中的目标信号的降噪系统NRS。模式选择输入(模式)可配置成指明系统例如波束形成器的运行模式和/或滤波器系数更新策略,例如目标信号是用户自我话音还是来自用户环境的目标信号(及可能指明这样的目标声源的方向或位置)。模式控制信号例如可从用户接口例如从遥控设备(例如实施为智能电话或类似设备如智能手表等的APP)提供。模式控制信号(模式)例如可自动产生,例如使用一个或多个传感器,例如通过如来自电话的无线信号的接收启动。降噪系统NRS的输出可以是用户话音的估计量/>或者来自环境的目标声音的估计量/>例如参见图5B。听力装置如助听器或耳机还包括处理器PRO,用于将一个或多个处理算法应用于从输入到输出的正向通路的、由降噪系统提供的例如按时频表示/>的信号,例如(在此)应用于目标信号的估计量/>这例如可通过相应的分析滤波器组(例如形成输入单元的一部分(IUMIC),可能与相应的模数转换器一起,只要适当)而得以实现,从而按时频表示(k,n)提供电输入信号(S1,…,SM)中的每一个,k和n分别为频率和时间指数。一个或多个处理算法例如可包括压缩算法,配置成根据用户的需要放大(或衰减)信号,从而例如补偿用户的听力受损。其它处理算法可包括移频、反馈控制等。处理器PRO提供处理后的输出OUT,其被馈给合成滤波器组FBS从而从时频表示(频域)转换到时域。时域输出信号out被馈给输出单元OU以转换为可由用户感知为声音(输出声音)的刺激sout,例如(空气和/或颅骨中的)声学振动或耳蜗神经的电刺激(在该(后者)情形下,可省略合成滤波器组FBS)。在非助听器例如耳机应用中,处理器可配置成进一步增强来自降噪系统的信号或者可被省掉(使得目标信号的估计量/>被直接馈给合成滤波器组/输出单元)。目标信号可以是用户自我话音和/或用户环境中的目标声音(例如(不同于用户的)人讲话,例如与用户通话)。
图5B示出了听力装置如助听器HD的示例性框图,包括根据本发明实施例的、处于“免提电话”或“耳机”运行模式的降噪系统NRS(例如参见图2、4A、6)。图5B的实施例包括结合图5A实施例描述的功能模块。然而,具体地,图5B的实施例配置成在特定通信模式下实施无线耳机从而使用户能与远处通信伙伴进行口头通信。在特定通信运行模式(例如电话模式)下,助听器配置成使用输入单元IUMIC提供的电输入信号拾取用户话音并使用根据本发明的第一降噪系统NRS1提供用户话音的估计量以及(在由合成滤波器组FBS转换为时域信号/>之后)将该估计量经发射器Tx和天线电路(参见自我话音音频)传给另一设备(如电话或类似设备)或系统,例如经合成滤波器组FBS及适当的发射器Tx和天线电路。另外,助听器HD包括辅助音频输入(“音频输入”),配置成从另一设备或系统如电话(或类似设备)(例如有线或无线)接收直接音频输入。在图5B的实施例中,无线接收的输入(例如来自通信伙伴的口头通信)被示为经天线和输入单元IUAUX由助听器接收。辅助输入单元IUAUX包括适当的接收器电路、模数转换器(如果适当的话)、及分析滤波器组以按时频表示将音频信号Saux提供为子频带信号Saux(k,n)。图5B的助听器的正向通路包括与针对图5A实施例描述的元件相同的元件,并另外包括选择器-混合器SEL-MIX从而使正向通路的信号(其在处理器PRO中处理并作为可感知为声音的刺激呈现给用户)能可配置。在模式控制信号(模式)的控制下,选择器-混合器SEL-MIX的输出Sx(k,n)可以是a)环境信号SENV(k,n)(例如环境中目标信号的估计量,或全向信号,例如来自传声器之一);b)来自另一设备的辅助输入信号Saux(k,n);或者c)二者的混合(例如(可能可经用户接口配置的)加权混合)。与图5A的实施例一样,图5B实施例的正向通路包括合成滤波器组FBS,配置成将通过多个子频带信号表示的时频域信号(在此为来自处理器PRO的信号OUT(k,n))转换为时域信号out。助听器(正向通路)还包括输出变换器OT,用于将输出信号out转换为可由用户感知为声音(输出声音)的刺激sout,例如(空气和/或颅骨中的)声学振动。输出变换器OT可包括数模转换器,只要适当。
第一降噪系统NRS1配置成提供用户自我话音的估计量第一降噪系统NRS1可包括自我话音保持波束形成器和自我话音消除波束形成器(例如参见图8)。自我话音消除波束形成器包括用户说话时的噪声源。自我话音保持波束形成器和自我话音消除波束形成器可以是如本发明提出的时不变波束形成器。第一降噪系统NRS1可以是根据本发明的降噪系统。
第二降噪系统NRS2可配置成提供目标声源的估计量(例如用户环境中的讲话者的话音)。第二降噪系统NRS2可包括环境目标源保持波束形成器和环境目标源消除波束形成器,和/或自我话音消除波束形成器。目标消除波束形成器包括(环境中的)目标讲话者说话时的噪声源。自我话音消除波束形成器包括用户说话时的噪声源。第二降噪系统NRS2可以是根据本发明的降噪系统。
图5B可表示一般的耳机应用,例如将传声器到发射器通路IUMIC-Tx与直接音频输入到扬声器通路IUAUX-OT分开。这可以几种方式实现,例如通过去除第二降噪系统NRS2及选择器-混合器SEL-MIX可能及合成滤波器组FBS(如果辅助输入信号Saux在时域进行处理),以将辅助输入信号Saux直接馈给处理器PRO,其可以配置成或者(通常)可能未配置成补偿用户的听力受损。
图6示出了时不变降噪系统的实施例,其包括相应的时不变目标保持波束形成器和时不变目标消除波束形成器以及后滤波器,还包括根据本发明的噪声场自适应。图6的实施例与图2的实施例类似。在图6的实施例中,示出了时不变目标保持波束形成器和时不变目标消除波束形成器的示例性实施例。
图6包括第一和第二传声器(M1,M2),用于将输入声音分别转换为第一电输入信号x1和第二电输入信号x2。从目标信号到助听器的方向例如通过传声器轴确定并在图6中由记为“目标声音”的箭头标示。至少一波束形成器包括第一和第二固定波束形成器wH和由分别针对第一和第二波束形成器wH和/>的、固定的例如预定的(例如随频率而变的)权重w1(k),w2(k)和wtc1(k),wtc2(k)定义。通常复值权重w1(k),w2(k)和wtc1(k),wtc2(k)可在使用听力装置之前确定,例如存储在听力装置的存储器中。权重可配置成分别实施固定的目标保持波束形成器wH和固定的目标消除波束形成器/>图6的实施例包括相应的分析滤波器组(在图6中记为“滤波器组”),用于按时频表示(k,n)提供(数字化、时域)电输入信号,其中k和n分别为频率指数和时间指数。第一和第二(频域)电输入信号记为x1(k)和x2(k),其中为了简单起见,省略时间指数n。
目标保持波束形成器wH和目标消除波束形成器将空间滤波的信号a(k)和b(k)分别提供为第一和第二电输入信号x1(k)和x2(k)的(不同的)加权组合。第一目标保持波束形成器wH可表示提供(增强的)全向信号a(k)的延迟和求和波束形成器。第二目标消除波束形成器/>可表示提供目标消除信号b(k)的延迟和求减波束形成器。由相应的固定波束形成器wH和/>提供的第一和第二空间滤波的信号因此由下式给出:
a(k)=w1(k)·x1(k)+w2(k)·x2(k)
b(k)=wtc1(k)·x1(k)+wtc2(k)·x2(k)
在图6的实施例中,第一和第二波束形成器wH和中的每一个通过两个相乘单元x和一个求和单元+在时频域实施。降噪系统NRS包括噪声消除器(在此由另外的相乘单元x和求和单元+实施)及用于提供自适应参数β*(k)的自适应滤波器,例如如结合图2描述的(或者以其它方式实施,例如由波束形成器实施,例如参见EP3236672A1)。在图6的实施例中,噪声降低的(空间滤波的)目标信号y(k)根据下面的表达式提供为第一和第二空间滤波的信号的组合:
y(k)=a(k)-β*(k)·b(k)
其中β(k)为控制(信号y的)定向波束图的最后形状的、随频率而变的参数。
噪声降低的(空间滤波的)目标信号y(k)和目标消除信号b(k)被馈给后滤波器PF进行进一步的降噪并提供降噪系统NRS的(所得的)噪声降低的信号yNR。
图7示出了多传声器、降噪系统,包括相应的(时不变)目标保持波束形成器和目标消除波束形成器以及相应的、根据本发明的噪声自适应和目标导向自适应。
图7的实施例(包括M个输入,例如M>3)为图4A的实施例(包括M=两个输入)的一般化,除了图7的实施例不包括后滤波器之外。
图7的自适应噪声消除器与图4A的自适应噪声消除器类似,除了图7的目标消除波束形成器包括M-1个输出b=[b1,…,bM-1]代替1(b)以及自适应参数β为包括个M-1值[β1,…,βM-1]的向量(β)之外,使得β的l+1th值的递归公式为向量等式。自适应SIGN LMS算法例如可根据下面的递归表达式提供自适应参数:
其中μ为自适应算法的步长,指“非话音活动”(换言之,仅有噪声时间段,例如通过话音活动检测器提供)。参数/>例如可针对“仅有噪声”和“不只有话音”分别取值1和0(或者其可指“仅有噪声”的概率(例如具有0到1之间的值))。sign(y*)为时不变波束形成器wH的输出a的噪声降低的输出(y=a–βHb)(的进一步)(复转置的,y*)的值的符号。sign(b)为时不变目标消除波束形成器/>的输出的复值的符号。向量b包括M-1个b值,例如b=[b1,…,bM-1],这样,sign(b)=[sign(b1),…,sign(bM-1)]。/>
此外,相较于图4A,图7的一般化实施例的目标自适应模块包括M-1个并行的导向向量自适应分支(每一分支包括自适应复数符号LMS算法)。一般化的导向向量d可写为d=[1,d2,d3,…,dM]。M-1个输入分支中的每一个(除参考输入分支之外)包括用于基于第m个输入信号xm和第m个误差信号em估计输入校正系数因子cm,m=2,3,…,M的自适应复数符号LMS算法。
图7的一般化降噪系统的(固定的)目标保持波束形成器wH和(固定的)目标消除波束形成器接收M>2个输入(在此M>3)、参考输入x1和将(复共轭的)输入校正系数因子cm,m=2,3,…,M应用于输入信号(x2,…,xM)之后的校正输入(x2c2 *,…,xMcM *)。对于第m个输入信号xm,输入校正因子cm确定为:
其中l为时间指数,m为输入信号(例如传声器)指数。
图7实施例的SIGN LMS算法重复地从话音活动检测器(参见输入VAD)接收输入,从而使能(例如在子频带程度)辨别当前信号中的语音和非语音(例如噪声)。
仅有自我话音检测/估计
图8示出了根据本发明的自我话音波束形成器的目标导向自适应。
图8示出了仅有自我话音检测器OVOD以及(自我话音和目标消除)波束形成器(分别为)的输入信号和输出信号。该图与图4B类似,但关于应用于所示双传声器(M1,M2)解决方案的第二传声器信号x2的自适应复数校正因子c*slow具有另外的细节(和功能)。在图4B的实施例中,复数校正因子c*受控于话音活动检测器VAD(参见图4B中SIGN LMS模块的输入VAD),而在图8的实施例中,复数校正因子c*slow受控于自我话音活动检测器(参见来自OVOD模块的到可变电平估计器VARLE的输入)。后者在下面进一步描述。话音活动检测器VAD也被标示提供NON-VAD信号(指明输入信号x1中没有话音活动),这样的提供无话音检测信号的检测器有时称为仅有噪声检测器NOD。NON-VAD信号可馈给广义旁瓣抵消器结构(GSC)的可选的降噪部分(例如参见递归确定的自适应参数或向量βl+1的表达式以及图7中SIGN LMS模块的输入“VAD”)。
自我话音保持波束形成器表示增强的全向波束形成器,其针对在模型(例如HATS或KEMAR模型或类似模型,参见来自Brüel&/>Sound&Vibration Measurement A/S的头和躯干模拟器(Head and Torso Simulator,HATS)4128C或者来自GRAS Sound andVibration A/S的头和躯干模型KEMAR)上测得的自我话音OV进行校准,但其中模型提供自我话音(“模型讲话”)。目标消除波束形成器/>被校准以消除模型的“自我话音”。因此,波束形成器/>表示固定波束形成器。
固定波束形成器的问题在于,听力装置可能未被“正确地”安装(例如不同于(大概小心地)安装在模型上),导致预定的(固定的)校准并非最佳,因此有效地导致“目标信号损失”。这可再次导致用于自适应消除用户周围的噪声的自适应参数β(例如参见图3、4A、6以及图7中的“噪声消除器”部分)并非最佳=>“目标减少”。
在图8中,信号s表示目标输入信号(理想地,用户话音),而信号vm,m=1,2表示传声器(M1,M2)处存在的噪声。相对声学传递函数d2为目标输入信号(自我话音)的真实导向向量(dT=[1,d2])的从第一(参考)传声器M1(ref)到第二传声器M2的相对声学传递函数,d2’为相应的来自模型(例如HATS)的导向向量(d'T=[1,d2’])的校准的相对声学传递函数,其中T指转置。
基于(例如来自后面、非参考传声器M2的)第二电输入信号x2和误差信号e,SIGNLMS算法提供(第一)复数校正因子c*fast,其在相乘单元x中与后传声器信号x2相乘。所得的信号x2·c*fast在求减单元+中从来自第一(例如前面、参考)传声器的第一电输入信号x1与从第一(参考)传声器M1到第二传声器M2的(模型)相对声学传递函数d2’的相乘结果x1·d2’减去。从而提供误差信号e。误差信号e通过SIGN LMS算法最小化,给定当前的第二(后面)传声器信号x2。复数校正因子c*fast进一步馈给可变电平估计器VARLE,其提供与后传声器信号x2相乘使得后传声器信号x2被校正从而适合模型的初始导向向量d2’的、平滑的复数校正因子c*slow,参见在相乘单元x后面的信号x2’。复数“慢”校正因子c*slow例如可经低通滤波功能馈回到自我话音检测器OVOD(参见向自我话音检测器OVOD提供参数μov的LPz-1模块,例如用于在仅有自我话音期间递归地更新校正因子c*fast的平均值(参见下面结合图9所述))。自我话音检测器OVOD还从传统的(例如基于调制的)话音活动检测器VAD接收输入以使仅有OV检测适格,参见下面结合图9进一步的描述。
由于人与人之间头和躯干等的不同声学,每一用户具有独一无二的校正因子c*。“校正因子的平均值”μov例如可针对每一用户个别地初始化。个性化的校正因子例如可在(优选安静的)录音室中进行测量,其中,在听力装置安装在人身上的同时受试对象讲话。代替测量特定用户,给定用户的平均校正因子可被初始化为在录音室中对多个受测人员测得的个性化校正因子的平均值。
相较于图4B的实施例,在试图处理竞争讲话者时,校正值(图4B中的c*、图8中的c*slow)、针对电输入信号的校正值仅在仅有自我话音时更新。SIGN LMS算法不断寻找当前为主的声源(语音或噪声)并提供相应的(第一)校正因子c*fast。校正因子c*fast馈给仅有自我话音检测器OVOD以进一步“取得资格”。仅有自我话音检测器OVOD配置成识别用户自我话音为主的时间段并在这些时间段期间提供OVOD信号(仅存在自我话音)ovod。OVOD信号馈给可变电平检测器VARLE平滑单元,其提供“快速”校正因子c*fast的平滑从而提供“慢速”校正因子c*slow,但仅在OVOD信号ovod存在时更新c*slow。
图8的框图例如可表示时频表示(k,n)的单一频带k(k=1,…,K),其中k和n分别为频率指数和时间指数,或者可表示时域实施。
图9为图8的仅有自我话音检测器OVOD的示例性框图。
仅有自我话音检测器OVOD的主要输入为“快速”校正因子c*fast(k,n),其由SIGNLMS算法提供(SIGN LMS模块的输出,参见图8)。时变“快速”校正因子c*fast在K个频带中提供。输入μov(k),k=1,…,K为仅有自我话音检测器OVOD的、在K个(例如24个)频带中提供的内部参数,如图9中由频率相依性k标示的。参数μov(k)例如可以是复值或实值。参数例如可按上面指明的初始化,例如基于多个受测人员测得的平均值。然而,如图8、9的OVOD实施例中指明的,内部参数μov(k)非必须地可基于“慢速”校正因子c*slow进行更新。参数例如可表示“快速”校正因子c*fast的平均值(例如参见图8,其中参数μov通过经平滑和/或低通滤波功能(参见VARLE和LPz-1模块)对快速校正因子c*fast进行滤波而产生)。在仅有自我话音检测器OVOD的示例性实施例中,参数μov(k)在求和单元+中从“快速”校正因子的当前值c*fast(k,n)减去,并由ABS单元提供量值从而提供(正的)距离度量z(k)(例如差参数)。如果存在自我话音,c*fast将接近平均值μov,z(k)因而将相当小(例如接近0);相反,如果不存在自我话音,c*fast将远离平均值μov,z(k)因而将相当大。换言之,z(k)为“快速”校正因子的当前值c*fast(k,n)与平均c*fast值μov(k)相差多远的度量(即z(k)提供c*fast(k,n)与μov(k)之间的距离(如差)的度量)。距离度量z(k)在相乘单元x中乘以随频率而变的参数Φ(k),从而提供所得的积z(k)Φ(k)。随频率而变的参数Φ(k)可根据当前声学环境提供距离度量z(k)的加权。随频率而变的加权的距离度量z(k)在频带求和单元(SUM,k)(或在合成滤波器组)中求和,从而提供所得的时域信号x(n)。时域偏差值Φ0应用于差参数z(k)的加权以调节过程的攻击性或柔和性,置x=0,使得将自我话音(x>0)与其它声源(x<0)分开。
随频率而变的声学环境参数Φ(k)的值以及平均校正因子μ(k)例如可通过用具有不同噪声电平(包括偏差值Φ0的估计)的不同声音场景(包括仅有自我话音场景)的标注真实数据训练神经网络而找到。
所得的指明是否仅存在自我话音的时域信号x(n)在图9的>Thr1模块中与第一阈值Thr1(例如=0)比较,藉此提供随时间而变的仅有自我话音参数OVOD(n)。仅有自我话音检测器OVOD的优点在于假阳的数量非常小。从而确保c*slow参数因而后传声器信号x2’很少有错的更新,参见图8。
下面的起始于随频率而变的话音活动信号VAD(k,n)的信号通路用于给予仅有自我话音检测更大鲁棒性。与图8中所示一样,(例如基于调制的)每频带话音活动检测器用于检查声源是否为调制源(例如语音)并具有“过得去的”SNR。各个频带特定VAD信号组合(参见图9中的求和模块(SUM,k))并与第二阈值Thr2比较(参见图9中的>Thr2模块)从而提供“全局”(时域)VAD信号GVAD(n),其与仅有自我话音检测信号OVOD(n)组合(参见图9中的AND模块)以提供仅有自我话音检测器OVOD的时变输出信号ovod(n)。
自我话音通常具有高电平(≥70dB),因为声源(嘴巴)比用户周围的任何其它声源更接近助听器的传声器。这样的条件(OV电平≥Lth)可添加为AND模块的另一输入从而使仅有自我话音决定仍然更具鲁棒性。
AND模块的输出为OVOD模块的“鲁棒的”ovod信号,其用于控制图8中的可变电平检测器模块VARLE(因而控制图8中后传声器信号x2’的复数校正因子c*slow的更新)。
本发明的实施例例如可用在如助听器或耳机或具有相对有限的功率预算的其它可穿戴音频处理装置的应用中。
当由对应的过程适当代替时,上面描述的、“具体实施方式”中详细描述的及权利要求中限定的装置的结构特征可与本发明方法的步骤结合。
除非明确指出,在此所用的单数形式“一”、“该”的含义均包括复数形式(即具有“至少一”的意思)。应当进一步理解,说明书中使用的术语“具有”、“包括”和/或“包含”表明存在所述的特征、整数、步骤、操作、元件和/或部件,但不排除存在或增加一个或多个其他特征、整数、步骤、操作、元件、部件和/或其组合。应当理解,除非明确指出,当元件被称为“连接”或“耦合”到另一元件时,可以是直接连接或耦合到其他元件,也可以存在中间插入元件。如在此所用的术语“和/或”包括一个或多个列举的相关项目的任何及所有组合。除非明确指出,在此公开的任何方法的步骤不必须精确按所公开的顺序执行。
应意识到,本说明书中提及“一实施例”或“实施例”或“方面”或者“可”包括的特征意为结合该实施例描述的特定特征、结构或特性包括在本发明的至少一实施方式中。此外,特定特征、结构或特性可在本发明的一个或多个实施方式中适当组合。提供前面的描述是为了使本领域技术人员能够实施在此描述的各个方面。各种修改对本领域技术人员将显而易见,及在此定义的一般原理可应用于其他方面。
权利要求不限于在此所示的各个方面,而是包含与权利要求语言一致的全部范围,其中除非明确指出,以单数形式提及的元件不意指“一个及只有一个”,而是指“一个或多个”。除非明确指出,术语“一些”指一个或多个。
参考文献
[1]S.Haykin,“Adaptive Filter Theory,”5th edition,Prentice Hall,2013.
[2]A.Sayed,“Adaptive Filters,”IEEE Press,2008.
[3]M.Clarksson,“Optimal and Adaptive Signal Processing,”CRC Press,1993.
[4]J.Bitzer and K.U.Simmer,“Superdirective Microphone Arrays,”in“Microphone Arrays–Signal Processing Techniques,”M.Brandstein and D.Wards(Eds.),Springer-Verlag,2001,Chapter 2.
EP3236672A1(Oticon)25.10.2017.
Claims (15)
1.配置成由用户佩戴的听力装置,所述听力装置包括:
-多个输入变换器,每一输入变换器提供表示听力装置环境中的声音的电输入信号,从而提供对应的多个电输入信号;
-用于根据多个电输入信号提供处理后的信号的处理器,该处理器包括:
--至少一波束形成器,用于根据所述电输入信号或源自其的信号以及波束形成器滤波器系数提供空间滤波的信号,所述波束形成器滤波器系数根据固定的导向向量进行确定,该导向向量将从提供目标信号的目标信号源到多个输入变换器中的每一个的相应声学传递函数或者从多个输入变换器中的参考输入变换器到其余输入变换器中的每一个的声学传递函数包括为元素;及
--连接到多个输入变换器以及至少一波束形成器的目标自适应模块,所述目标自适应模块配置成提供补偿信号以补偿所述多个电输入信号使得它们匹配所述固定的导向向量。
2.根据权利要求1所述的听力装置,其中,所述目标自适应模块包括用于估计所述补偿信号的至少一自适应滤波器。
3.根据权利要求2所述的听力装置,其中,所述至少一自适应滤波器配置成自适应确定将应用于所述电输入信号以提供所述补偿信号的至少一校正因子。
4.根据权利要求2所述的听力装置,包括话音活动检测器,用于估计输入信号在给定时间点是否或者以何种概率包括话音信号,其中至少一自适应滤波器受话音活动检测器控制。
5.根据权利要求2所述的听力装置,其中,至少一自适应滤波器包括自适应算法和可变滤波器,其中自适应算法包括步长参数,及其中自适应算法配置成确定步长参数的符号。
6.根据权利要求5所述的听力装置,其中,目标自适应模块的自适应算法是复数符号最小均方算法,其中所述自适应算法配置成根据多个电输入信号之一和误差信号确定步长参数的符号。
7.根据权利要求1所述的听力装置,其中,所述处理器配置成使来自给定非参考输入变换器的给定当前电输入信号与来自参考传声器的、通过至少一波束形成器的导向向量修正的电参考输入信号之间的误差最小化,从而补偿所述多个电输入信号使得它们匹配固定的导向向量。
8.根据权利要求1所述的听力装置,其中,所述匹配固定的导向向量包括匹配复数导向向量。
9.根据权利要求8所述的听力装置,其中,所述匹配复数导向向量包括分开地匹配实部和虚部。
10.根据权利要求3所述的听力装置,其中,至少一波束形成器包括自我话音波束形成器,其中目标自适应模块包括配置成确定何时更新所述至少一校正因子的仅有自我话音检测器。
12.根据权利要求1所述的听力装置,还包括噪声消除器,其包括用于估计自适应降噪参数并提供噪声降低的目标信号(y)的自适应滤波器。
14.根据权利要求1所述的听力装置,由助听器或者耳机或者其组合构成或者包括助听器或者耳机或者其组合。
15.配置成由用户佩戴的听力装置的运行方法,所述方法包括:
-提供表示听力装置环境中的声音的多个电输入信号;
-至少通过下述步骤根据多个电输入信号提供处理后的信号:
--根据所述电输入信号或源自其的信号以及波束形成器滤波器系数提供空间滤波的信号,所述波束形成器滤波器系数根据固定的导向向量进行确定,该导向向量将从提供目标信号的目标信号源到多个输入变换器中的每一个的相应声学传递函数或者从多个输入变换器中的参考输入变换器到其余输入变换器中的每一个的声学传递函数包括为元素;及
--提供补偿信号以补偿所述多个电输入信号使得它们匹配所述固定的导向向量。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP21214739 | 2021-12-15 | ||
EP21214739.1 | 2021-12-15 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116405818A true CN116405818A (zh) | 2023-07-07 |
Family
ID=79024343
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211620320.8A Pending CN116405818A (zh) | 2021-12-15 | 2022-12-15 | 包括低复杂性波束形成器的听力装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230186934A1 (zh) |
EP (1) | EP4199541A1 (zh) |
CN (1) | CN116405818A (zh) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4701931B2 (ja) * | 2005-09-02 | 2011-06-15 | 日本電気株式会社 | 信号処理の方法及び装置並びにコンピュータプログラム |
DK3236672T3 (da) | 2016-04-08 | 2019-10-28 | Oticon As | Høreanordning, der omfatter en stråleformerfiltreringsenhed |
US11070907B2 (en) * | 2019-04-25 | 2021-07-20 | Khaled Shami | Signal matching method and device |
-
2022
- 2022-12-14 US US18/080,942 patent/US20230186934A1/en active Pending
- 2022-12-14 EP EP22213540.2A patent/EP4199541A1/en active Pending
- 2022-12-15 CN CN202211620320.8A patent/CN116405818A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
EP4199541A1 (en) | 2023-06-21 |
US20230186934A1 (en) | 2023-06-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11109163B2 (en) | Hearing aid comprising a beam former filtering unit comprising a smoothing unit | |
CN110636424B (zh) | 包括反馈降低系统的听力装置 | |
CN110636429B (zh) | 包括声学事件检测器的听力装置 | |
US9723422B2 (en) | Multi-microphone method for estimation of target and noise spectral variances for speech degraded by reverberation and optionally additive noise | |
EP3057337B1 (en) | A hearing system comprising a separate microphone unit for picking up a users own voice | |
CN110139200B (zh) | 包括用于降低反馈的波束形成器滤波单元的听力装置 | |
CN109660928B (zh) | 包括用于影响处理算法的语音可懂度估计器的听力装置 | |
US11463820B2 (en) | Hearing aid comprising a directional microphone system | |
US11109166B2 (en) | Hearing device comprising direct sound compensation | |
CN112492434A (zh) | 包括降噪系统的听力装置 | |
US20220264231A1 (en) | Hearing aid comprising a feedback control system | |
US20240007802A1 (en) | Hearing aid comprising a combined feedback and active noise cancellation system | |
CN113873414A (zh) | 包括双耳处理的助听器及双耳助听器系统 | |
US20230254649A1 (en) | Method of detecting a sudden change in a feedback/echo path of a hearing aid | |
EP4099724A1 (en) | A low latency hearing aid | |
EP4199541A1 (en) | A hearing device comprising a low complexity beamformer | |
US12003921B2 (en) | Hearing aid comprising an ITE-part adapted to be located in an ear canal of a user | |
US11743661B2 (en) | Hearing aid configured to select a reference microphone | |
US12003920B2 (en) | Low latency hearing aid | |
US20240064478A1 (en) | Mehod of reducing wind noise in a hearing device | |
EP4297435A1 (en) | A hearing aid comprising an active noise cancellation system | |
CN115278494A (zh) | 包括耳内输入变换器的听力装置 | |
CN117156364A (zh) | 包括声源定位估计器的助听器或助听器系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |