CN111385713A - 麦克风设备和头戴式耳机 - Google Patents
麦克风设备和头戴式耳机 Download PDFInfo
- Publication number
- CN111385713A CN111385713A CN201911393290.XA CN201911393290A CN111385713A CN 111385713 A CN111385713 A CN 111385713A CN 201911393290 A CN201911393290 A CN 201911393290A CN 111385713 A CN111385713 A CN 111385713A
- Authority
- CN
- China
- Prior art keywords
- beamformer
- auxiliary
- vector
- candidate
- main
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/08—Mouthpieces; Microphones; Attachments therefor
- H04R1/083—Special constructions of mouthpieces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1008—Earpieces of the supra-aural or circum-aural type
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1091—Details not provided for in groups H04R1/1008 - H04R1/1083
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
- G10L2021/02166—Microphone arrays; Beamforming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
- H04R2201/10—Details of earpieces, attachments therefor, earphones or monophonic headphones covered by H04R1/10 but not provided for in any of its subgroups
- H04R2201/107—Monophonic and stereophonic headphones with microphone for two-way hands free communication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2203/00—Details of circuits for transducers, loudspeakers or microphones covered by H04R3/00 but not provided for in any of its subgroups
- H04R2203/12—Beamforming aspects for stereophonic sound reproduction with loudspeaker arrays
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
本发明涉及麦克风设备和头戴式耳机。麦克风设备具有主波束形成器,主波束形成器通过将主权重向量应用到主输入向量来提供主输出音频信号作为波束形成的信号。主波束形成器控制器重复确定主引导向量,并根据主引导向量和主输入向量自适应地确定主权重向量,以增加主输出音频信号中来自用户的语音声音的相对量。麦克风设备还包括通过将辅助权重向量应用于作为主输入向量的子集的辅助输入向量来提供辅助波束形成器信号作为波束形成的信号的辅助波束形成器,以及自适应地确定辅助权重向量以增加辅助波束形成器信号中来自用户的语音声音的相对量的辅助波束形成器控制器。主波束形成器控制器根据辅助权重向量确定主引导向量。
Description
技术领域
本发明涉及一种麦克风设备,且更具体地,涉及一种具有波束形成器的麦克风设备,该波束形成器通过组合来自多个麦克风的麦克风信号来提供方向性音频输出。本发明还涉及具有这种麦克风设备的头戴式耳机。本发明可以例如用于增强头戴式耳机和其他音频设备中的语音质量和清晰度。
背景技术
在现有技术中,已知对来自两个或多个空间分离的麦克风的信号进行滤波和组合以获得方向性麦克风信号。这种信号处理形式通常称为波束形成。波束形成麦克风信号的质量取决于在相关频率范围内具有相同灵敏度特性的各个麦克风,但是,这受到有限的生产公差和组件老化的挑战。因此,现有技术包括旨在校准麦克风或以其他方式处理波束形成器中偏离的麦克风特性的各种技术。
而且,波束形成器的波束与目标声源的变化位置的自适应对准在本领域中是已知的。自适应波束形成器的一个示例是所谓的“通用旁瓣消除器”或GSC。GSC将自适应波束形成器分为两个主要处理路径。第一路径实现了标准的固定波束形成器,对所需信号有限制。第二条路径实现了自适应波束形成器,该波束形成器提供了一组可以自适应地最小化输出功率的滤波器。所需信号通过阻塞矩阵从第二路径中消除,从而确保将噪声功率降至最低。从固定波束形成器的输出中减去第二路径的输出(噪声),以提供具有较小噪声的所需信号。GSC是所谓的“线性约束最小方差”或LCMV波束形成器的示例。使用GSC需要知道通往所需源的方向。
此外,许多自适应波束形成器算法的普遍问题是确定麦克风输入信号何时包括期望信号。
欧洲专利申请EP18205678.8公开了一种具有主波束形成器的麦克风设备,该主波束形成器对来自第一和第二麦克风单元的输入音频信号进行操作。麦克风设备包括对相同的两个输入音频信号进行操作,以提供抑制波束形成器信号的抑制波束形成器以及控制抑制波束形成器以最小化抑制波束形成器信号的抑制滤波器控制器。麦克风设备还包括:对相同的两个输入音频信号进行操作以提供候选波束形成器信号的候选波束形成器以及控制候选波束形成器具有等于抑制波束形成器的传递函数的复共轭的传递函数候选滤波器控制器。麦克风设备根据候选波束形成器信号中确定的语音活动来控制主波束形成器的传递函数以朝着候选波束形成器的传递函数收敛。然而,本公开的确仅提及对来自两个麦克风单元的输入音频信号进行操作的波束形成器。
因此仍然需要改进。
发明内容
本发明的目的是提供一种改进的麦克风设备,而没有现有技术设备的一些缺点。本发明的另一个目的是提供一种改进的头戴式耳机,而没有现有技术的头戴式耳机的一些缺点。
一方面,本发明提供了一种麦克风设备,适于根据从所述麦克风设备的用户接收的语音声音来提供主输出音频信号,所述麦克风设备包括:-具有第一麦克风单元、第二麦克风单元和第三麦克风单元的主麦克风阵列,所述第一麦克风单元适于根据在第一声音入口处接收的声音来提供第一输入音频信号,所述第二麦克风单元适于根据在与所述第一声音入口在空间上分开的第二声音入口处接收的声音来提供第二输入音频信号,所述第三麦克风单元适于根据在与所述第一声音入口和所述第二声音入口在空间上分开的第三声音入口处接收的声音来提供第三输入音频信号,从而将所述主麦克风阵列定义为提供包括所述第一入音频信号,所述第二入音频信号和所述第三输入音频信号作为分量的主输入向量;-主波束形成器,适于通过向主所述输入向量应用主权重向量来提供所述主输出音频信号作为波束形成的信号;以及-主波束形成器控制器,适于重复确定主引导向量并根据所述主引导向量和所述主输入向量自适应地确定所述主权重向量,以增加所述主输出音频信号中来自所述用户的所述语音声音的相对量,其中所述主引导向量指示所述主波束形成器的所需响应;其特征在于,所述麦克风设备还包括:-辅助波束形成器适于通过将辅助权重向量应用到包括所述第一输入音频信号和所述第二输入音频信号作为分量的辅助输入向量,来提供辅助波束形成器信号作为波束形成的信号;以及-辅助波束形成器控制器,适于自适应地确定所述辅助权重向量,以增加所述辅助波束形成器信号中来自所述用户的所述语音声音的相对量;其中,所述主波束形成器控制器还适于根据所述辅助权重向量来确定所述主引导向量。
这可以使主波束形成器控制器能够利用独立于引导向量导出的信息,并因此提高引导向量的估计的稳定性和/或准确性,并且可以进一步减少主波束形成器控制器的计算负荷。
另一方面,本发明还提供了一种头戴式耳机,包括根据前述的麦克风设备。
在本文档中,单数形式“一”、“一个”和“该”指定相应实体的存在,例如功能、操作、元素或组件、但不排除其他实体的存在或添加。同样,词语“具有”、“包含”和“包含”指定各个实体的存在,但不排除其他实体的存在或添加。术语“和/或”指定一个或多个相关实体的存在。除非明确声明,否则本文所公开的任何方法的步骤或操作无需按照所公开的确切顺序执行。
附图说明
下面将结合优选实施方式并参考附图更详细地解释本发明,其中:
图1示出头戴式耳机的实施方式,
图2示出示例性的方向特性,
图3示出麦克风设备的实施方式,
图4示出辅助控制器的实施方式,
图5示出麦克风单元的实施方式,以及
图6示出波束形成器控制器的实施方式。
为了清楚起见,这些图是示意性的和简化的,并且它们仅示出了理解本发明所必需的细节,而其他细节可能被省略。在可行的情况下,相同或相似的部件使用相同的附图标记和/或标记。
具体实施方式
图1所示的头戴式耳机1包括右侧耳机2、左侧耳机3、将耳机2、3机械互连的头带4以及安装在左侧耳机3上的麦克风臂5。头戴式耳机1被设计为以预定的佩戴位置佩戴在用户6的头部上,其中耳机2、3布置在用户各自的耳朵处,并且麦克风臂5从左侧耳机3向用户的嘴7延伸。麦克风臂5具有第一声音入口8和第二声音入口9,用于接收来自用户6语音声音V。左侧耳机3具有第三声音入口10,用于接收来自用户6的语音声音V。
在下文中,相对于声音入口8、9、10的用户的嘴7的位置,即语音声音V的来源,可以被称为“扬声器位置”。头戴式耳机1可以优选地被设计成使得当在预期的佩戴位置佩戴头戴式耳机时,第一和第二声音入口8、9中的第一个比相应的另一个声音入口8、9更靠近用户的嘴7。头戴式耳机1可以优选地包括如下所述的麦克风设备。另外,其他类型的头戴式耳机也可以包括这样的麦克风设备,例如所示的但只有一个耳机2、3的头戴式耳机,麦克风臂5从右侧耳机2伸出的耳机,具有头带以外的其他佩戴部件的头戴式耳机,例如颈带,耳钩等,或没有麦克风臂的耳机5;在后一种情况下,第一和第二声音入口8、9可以例如布置在头戴式耳机的耳机2、3处或相应的耳机2、3上。第三声音入口10可以可替代地布置在例如右侧耳机2或麦克风臂5处。第三声音入口10可以例如被布置成在用户耳朵的耳蜗和/或耳道附近或之中拾取声音。
图2所示的极坐标图20定义了本说明书中所指的相对空间方向。直线21穿过第一和第二声音入口8、9延伸。从第二声音入口9到第一声音入口8的方向上沿着直线21的箭头22所指示的方向在下文中被称为“向前方向”。箭头23所示的相反方向称为“向后方向”。在向后方向23上为空的示例性心形方向特性24在下文中被称为“向前心形”。在向前方向22上为空的相反指向的心形方向特性25在下文中被称为“向后心形”。
图3所示的麦克风设备30包括第一麦克风单元11、第二麦克风单元12、第三麦克风单元13、主波束形成器31、主波束形成器控制器32以及包括辅助波束形成器33、辅助波束形成器控制器34和辅助语音检测器35的辅助控制器40。麦克风设备30根据从麦克风设备的用户6接收的语音声音V提供输出音频信号SM。麦克风设备30可以由音频设备包括,例如像图1中所示的头戴式耳机1之类的头戴式耳机、助听器、免提电话设备、独立式麦克风设备等。相应地,麦克风设备30可以包括用于音频处理(例如降噪、回声抑制、语音增强等)的其他功能组件和/或输出音频信号SM的有线或无线传输。输出音频信号SM可以作为语音信号例如通过通信网络(例如电话网络或互联网)发送到远程方,或者可以在本地使用,例如通过语音记录设备或公共广播系统使用。
第一麦克风单元11根据在第一声音入口8处接收到的声音来提供第一输入音频信号X,第二麦克风单元12根据在空间上与第一声音入口8分开的第二声音入口9处接收到的声音来提供第二输入音频信号Y,以及第三单元13根据在空间上与第一声音入口8和第二声音入口9分开的第三声音入口10处接收的声音来提供第三输入音频信号Q。在麦克风设备30由诸如独立麦克风、麦克风臂5或耳机2、3之类的小型设备构成的情况下,声音入口8、9、10之间的空间间隔通常选择在5至30mm的范围内,但可以使用更大或更小的间距。
麦克风设备30可以优选地被设计为轻推或促使用户6将麦克风设备30布置在第一声音入口8比第二声音入口9更靠近用户的嘴7的位置。在麦克风设备30由具有从耳机3延伸出的麦克风臂5的头戴式耳机1构成的情况下,第一和第二声音入口8、9因此可以例如位于麦克风臂5处,其中第一声音入口8布置成比第二声音入口9更远离耳机3。
第一、第二和第三麦克风单元11、12、13构成具有向量形式的输出的主麦克风阵列14。因此,主麦克风阵列14提供包括第一、第二和第三输入音频信号X、Y、Q作为分量的主输入向量MM=(X、Y、Q)作为输出。
如在滤波器和波束形成器的技术领域中已知的,主波束形成器31确定主输出音频信号SM。主波束形成器31对第一输入音频信号X应用第一主权重函数BMX以提供第一主权重信号BMXX,对第二输入音频信号Y应用第二主权重函数BMY以提供第二主权重信号BMYY,以及对第三输入音频信号Q应用第三主权重函数BMQ以提供第三主权重信号BMQQ,其中,第一、第二和第三主权重函数BMX、BMY、BMQ互不相同。主波束形成器31通过将第一、第二和第三主权重信号BMXX、BMYY、BMQQ相加来提供主输出音频信号SM。
主波束形成器31可以以不同的方式执行上述波束形成器的计算,并且仍然获得相同的结果。在当前情况下,应将向特定输入向量应用特定权重向量的动作定义为包括所有计算算法和/或结构,这些算法和/或结构产生如上所述与执行两个向量的逐元素相乘以及相乘结果相加相同的结果。因此,主波束形成器31通过将包括第一、第二和第三主权重函数BMX、BMY,BMQ作为分量的主权重向量BM=(BMX,BMY,BMQ)应用于主输入向量MM,来将主输出音频信号SM提供为波束形成的信号。
在本文中,权重向量是权重函数的有序集合,其中权重函数由它们所应用的输入向量的分量来排序,并且其中权重函数是依赖于频率的传递函数。权重函数通常是复数传递函数,且权重向量的权重函数通常彼此不同。但是请注意,可以对权重向量进行归一化,使其权重函数之一等于单位函数。
主波束形成器控制器32重复确定主引导向量dM=(dMX,dMY,dMQ),并根据主引导向量dM和主输入向量MM自适应地确定主权重向量BM,以在主输出音频信号SM中增加来自用户6的语音声音V的相对量,其中主引导向量dM指示主波束形成器31的期望的,优选地未失真的响应。因此,引导向量dM具有用于主输入向量MM的分量X、Y、Q中的每个的相应分量dMX、dMY,dMQ。引导向量dM是权重函数的有序集合,其中权重函数由它们所应用的输入向量的分量来排序,并且其中权重函数是依赖于频率的传递函数。权重函数通常是复数传递函数,并且引导向量dM的权重函数通常彼此不同。
主波束形成器控制器32优选地根据广泛使用的最小方差无失真响应(MVDR)波束形成器算法进行操作。MVDR波束形成器算法是一种自适应波束形成算法,其目标是在保持对所需信号(即语音声音V)的不失真响应的同时,最大程度地减小波束形成器输出信号的方差。如果所需信号与不需要的噪声不相关,则波束形成器输出信号的方差等于所需信号和噪声方差之和。MVDR波束形成器算法寻求最小化此总和,从而降低噪声的影响,优选地,如本领域所公知的,优选地通过估计用于主输入向量MM的噪声协方差矩阵,并且在计算主权重向量BM的分量BMX,BMY,BMQ中使用估计的噪声协方差矩阵。
MVDR波束形成器算法将引导向量dM和主输入向量MM的估计噪声协方差矩阵作为输入。引导向量dM定义了主波束形成器31的期望响应。在本文中,期望信号是语音声音V,且当主输入向量MM仅包含用户6的语音声音V时,期望的响应因此等于主波束形成器31的响应。因此,当引导向量dM仅包含用户6的语音声音V时,可以容易地从主输入向量MM中计算出引导向量dM。然而,难以确定何时主输入向量MM仅包含用户6的语音声音V,并且因此也难以准确地确定引导向量dM。引导向量dM中的误差可能会导致主波束形成器31使主输出音频信号SM中的语音声音V失真,尤其是当误差代表麦克风单元11、12、13的灵敏度或声音入口8、9、10的位置的偏差时。
在现有技术中,已知分析主输出音频信号SM以检测语音声音V并根据检测到的语音声音V估计引导向量dM。还已知通过计算主输出音频信号SM与已知主要包括语音声音V的麦克风信号之间的相关性来检测语音声音V。然而,这两种方法的确引入了固有的由至少部分地循环依赖于其自身的引导向量dM引起的不稳定性和/或不准确性。
为了减轻MVDR和类似波束形成器的上述问题,主波束形成器控制器32根据由辅助波束形成器控制器34为辅助波束形成器33确定的辅助权重向量BF=(BFX,BFY)确定引导向量dM。这可以使主波束形成器控制器32能够利用独立于引导向量dM导出的其他信息,从而可以提高引导向量dM的估计的稳定性和/或准确性,并且可以进一步减少主波束形成器控制器32的计算负荷。此外,辅助波束形成器33优选地在输入音频信号X、Y、Q的适当子集上操作,主波束形成器31对输入音频信号X、Y、Q操作,这可能导致辅助波束形成器33具有比主波束形成器31小的自由度。与主波束形成器控制器32在准确确定引导向量dM中相比,这还可以使辅助波束形成器控制器34在准确确定辅助权重向量BF方面具有更容易的任务。主波束形成器控制器32可以仅在波束形成器启动期间,例如直到主权重向量BM稳定之前,才依赖于辅助权重向量BF来确定引导向量dM,这可以由主波束形成器控制器32以已知的方式容易地检测到。当主波束形成器控制器32检测到干扰时,根据辅助权重向量BF,其然后可以返回以确定引导向量dM。
辅助波束形成器33将第一辅助权重函数BFX应用于第一输入音频信号X以提供第一辅助权重信号BFXX,将第二辅助权重函数BFY应用于第二输入音频信号Y以提供第二辅助权重信号BFYY,并且通过将第一和第二辅助权重信号BFXX、BFYY相加来提供辅助波束形成器信号SF。辅助波束形成器33因此通过将包括第一和第二辅助权重函数BFX,BFY作为分量的辅助权重向量BF应用于包括作为分量第一和第二输入音频信号X、Y的辅助输入向量MA=(X、Y),来将辅助波束形成器信号SF提供为波束形成的信号。因此,第一和第二麦克风单元11、12构成辅助麦克风阵列15,该辅助麦克风阵列15提供包括第一和第二输入音频信号X、Y作为分量的辅助输入向量MA=(X、Y)。辅助麦克风阵列15优选地包括主麦克风阵列14的麦克风单元11、12、13的适当子集,这意味着主麦克风阵列14包括至少一个未被辅助麦克风阵列15包括的麦克风单元11、12、13。相应地,辅助输入向量MA优选是主输入向量MM的适当子向量。辅助波束形成器控制器34自适应地确定辅助权重向量BF,以在辅助波束形成器信号SF中增加来自用户6的语音声音V的相对量。辅助语音检测器35优选地将预定义的语音测量函数A应用于辅助波束形成器信号SF,以确定辅助波束形成器信号SF中语音声音V的辅助语音测量VF,其中选择语音测量函数A使其与其输入信号SF中的语音声音V相关,并且辅助波束形成器控制器34可优选地根据辅助语音测量VF确定辅助权重向量BF。语音测量函数A和辅助语音测量VF优选是频率相关的函数。
在一些实施方式中,主波束形成器控制器32可以确定用于第一输入音频信号X的引导向量分量dMX等于或收敛于等于第一辅助权重函数BFX,并且确定用于第二输入音频信号Y的引导向量分量dMY等于或收敛于等于第二辅助权重函数BFY。为了完成引导向量dM,主波束形成器控制器32然后仅需要确定第三输入音频信号Q的引导向量分量dMQ。如现有技术中已知的,主波束形成器控制器32可以基于主输出音频信号SM来确定第三输入音频信号Q的引导向量分量dMQ。
备选地或附加地,主波束形成器控制器32可以根据辅助语音测量VF确定引导向量dM。辅助语音检测器35可以从辅助语音测量VF导出用户语音活动信号VAD,使得当主输入向量MM仅或主要地包含用户的语音声音V时,用户语音活动信号VAD指示语音活动,并且主波束形成器控制器32可以根据在用户语音活动信号VAD指示语音活动的时间段期间收集的主输入向量MM的值来确定引导向量dM的一个或多个分量dMX,dMY,dMQ。主波束形成器控制器32还可以将对引导向量dM的修改限制在其中用户语音活动信号VAD指示语音活动的时段。用户语音活动信号VAD可以是频率相关的函数,并且主波束形成器控制器32可以仅针对频带或频段,根据辅助语音测量VF确定引导向量dM,其中,用户语音活动信号VAD指示语音活动和/或将引导向量dM的其他基于语音的修改限制到这样的频带或频段。对于其他频带或频段,如现有技术中已知的,主波束形成器控制器32可以基于主输出音频信号SM来确定引导向量dM。
主波束形成器控制器32还可以根据辅助语音测量VF确定主权重向量BM。辅助语音检测器35可以从辅助语音测量VF导出无用户语音活动信号NVAD,使得当主输入向量MM不包含或几乎不包含用户6的语音声音V时,无用户语音活动信号NVAD表示不存在语音活动,并且主波束形成器控制器32可以根据在无用户语音活动信号NVAD指示不存在语音活动的时段期间收集的主输入向量MM的值来确定主权重向量BM。主波束形成器控制器32可以进一步将主权重向量BM的基于噪声的修改限制到其中无用户语音活动信号NVAD指示不存在语音活动的时段。无用户语音活动信号NVAD可以是频率相关的函数,并且主波束形成器控制器32可以仅基于频带或频段的噪声估计来确定主权重向量BM,其中,无用户语音活动信号NVAD指示不存在语音活动和/或将基于噪声的主权重向量BM的修改限制在这样的频带或频段中。
在一些实施方式中,主波束形成器控制器32可以确定引导向量dM与辅助权重向量BF一致或朝其收敛。在当前情况下,当且仅当两个向量之一可以通过相应另一个向量的线性缩放获得时,才认为这两个向量是一致的,其中线性缩放涵盖通过任何因子或频率相关函数的缩放,其可以是实数或复数,包括因子一以及具有负值的因子和函数,并且其中仅存在于向量之一中的分量被忽略。因此,在所示的实施方式中,当且仅当可以通过对第一输入音频信号X的权重函数BFX进行线性缩放而获得第一输入音频信号X的引导向量分量dMX时,以及可以通过使用一个和相同的缩放因子或函数,对第二输入音频信号Y的权重函数BFY进行线性缩放,获得第二输入音频信号Y的引导向量分量dMY时,才认为引导向量dM与辅助权重向量BF是一致的。主波束形成器控制器32例如可以如现有技术中已知的那样基于主输出音频信号SM并且通过在确定中应用一致性约束来确定引导向量dM。
辅助波束形成器控制器34可以基于用于确定最佳两麦克风波束形成器的许多已知方法中的任何一种来确定辅助权重向量BF。然而,如下所述,辅助波束形成器控制器34可以基于辅助控制器40的优选实施方式来确定辅助权重向量BF。
图4所示的辅助控制器40包括如图3所示的辅助波束形成器33、辅助波束形成器控制器34和辅助语音检测器35、并且还包括零波束形成器41、零波束形成器控制器42、零语音检测器43、候选波束形成器44、候选波束形成器控制器45和候选语音检测器46。辅助波束形成器33、零波束形成器41和候选波束形成器44优选地被实现为单滤波器波束形成器,这意味着它们的权重向量每个仅包含一个频率相关的分量。因此,辅助波束形成器33包括辅助滤波器F和辅助混频器JF,零波束形成器41包括零滤波器Z和零混频器JZ,并且候选波束形成器44包括候选滤波器W和候选混频器JW。
辅助滤波器F是具有辅助传递函数HF的线性滤波器。辅助滤波器F根据第二输入音频信号Y提供辅助滤波信号FY,并且辅助混频器JF是线性混频器,其根据第一输入音频信号X和辅助滤波音频信号FY,将辅助波束形成器信号SF提供为波束形成的信号。辅助滤波器F和辅助混频器JF因此共同构成线性辅助波束形成器33,如本领域中通常已知的。
零滤波器Z是具有零传递函数HZ的线性滤波器。零滤波器Z根据第二输入音频信号Y提供零滤波信号ZY,并且零混频器JZ是线性混频器,其根据第一输入音频信号X和零滤波信号ZY提供零波束形成器信号SZ作为波束形成的信号。因此,如本领域中公知的,零滤波器Z和零混频器JZ共同构成线性零波束形成器41。
候选滤波器W是具有候选传递函数HW的线性滤波器。候选滤波器W根据第二输入音频信号Y提供候选滤波信号WY,并且候选混频器JW是线性混频器,其根据第一输入音频信号X和候选滤波信号WY提供候选波束形成器信号SW作为波束形成的信号。因此,如本领域中公知的,候选滤波器W和候选混频器JW共同构成线性候选波束形成器44。
取决于麦克风设备30的预期用途,第一麦克风单元11和第二麦克风单元12可各自包括方向性麦克风,在这种情况下,辅助波束形成器33、零波束形成器41和候选波束形成器44中的每一个将使它们各自的输出信号SF,SZ,SW具有二阶方向特性,例如向前心形24、向后心形25、超心形、超心形、双向特性–或任何其他众所周知的二阶方向特性。方向特性通常用于抑制不想要的声音(即噪声),以便增强所需的声音(例如来自设备1、30的用户6的语音声音V)。波束形成的信号的方向特性通常取决于信号的频率。
通常,当在相同输入向量上操作的两个波束形成器的方向特性形状相同时,则它们的权重向量是一致的。如果将它们都实现为在相同的两个麦克风输入信号上运行的均等配置的单滤波器波束形成器,则它们的滤波器的传递函数将相等。
在下文中,假设辅助混频器JF、零混频器JZ和候选混频器JW中的每个简单地分别从第一输入音频信号中减去辅助滤波信号FY、零滤波信号ZY和候选滤波信号WY,以分别获得辅助波束形成器信号SF、零波束形成器信号SZ和候选波束形成器信号SW。这对应于分别将辅助权重向量BF、零权重向量BZ和候选权重向量BW应用于辅助输入向量MA,其中辅助权重向量分量(BFX,BFY)等于(1,-HF)、零权重向量分量(BZX,BZY)等于(1,-HZ),且候选权重向量分量(BWX,BWY)等于(1,-HW)。在一些实施方式中,混频器JF,JZ,JW中的一个或多个可以被配置为应用其他或进一步的线性操作,例如,缩放,求逆和/或求和而不是减法,并且在这样的实施方式中,各个权重向量BF、BZ、Bw可以与这里示出的不同,但是仍然与它们一致。在这种情况下,波束形成器滤波器的相应传递函数HF,HZ,HW也将与此处所示的一致,这意味着相应传递函数HF,HZ,HW可以通过此处所示的线性缩放来获得,其中线性缩放包括通过任何非频率相关的因子进行缩放,该因子可能是实数的也可能是复数的,包括因子一和具有负值的因子。同样,当且仅当两个滤波器的传递函数一致时,才认为它们是一致的。
辅助波束形成器控制器34自适应地确定辅助滤波器F的辅助传递函数HF,以增加辅助波束形成器信号SF中的语音声音V的相对量。如下所述,辅助波束形成器控制器34优选地基于从第一输入音频信号X和第二输入音频信号Y导出的信息来执行此操作。辅助传递函数HF的这种适应改变了辅助波束形成器信号SF的方向特性。
在第一步中,零波束形成器控制器42确定零滤波器Z的零传递函数HZ以最小化零波束形成器信号SZ。现有技术已知许多用于实现这种最小化的算法,并且零波束形成器控制器42原则上可以应用任何这种算法。零波束形成器控制器42的优选实施方式在下面进一步描述。当辅助输入向量MA仅或主要包括来自用户的语音声音V时,或当辅助输入向量MA所包含的噪声稳定且在空间上是全向的时,那么最小化将导致在控滤波信号SZ中语音声音V被减小或抑制。零波束形成器控制器42因此自适应地确定零权重向量BZ,以在零波束形成器信号SZ中减小或最小化来自用户6的语音声音V的相对量。
在第一和第二音频输入信号X、Y相对于相应声音入口8、9处的声音具有相同的延迟,稳定的广谱语音声音V从远场到达,并且准确地(且仅从)向前方向22到达,并具有稳定且空间全向的噪声的理想情况下,那么由零波束形成器控制器42进行的最小化将导致零波束形成器信号SZ具有在向前方向22上具有空的向后心形方向特性25,因此,即使在第一麦克风单元11和第二麦克风单元12具有不同的灵敏度的情况下,也完全抑制了语音声音V。
在第二步骤中,候选波束形成器控制器45确定候选滤波器W的候选传递函数HW等于零滤波器Z的零传递函数HZ的复共轭。候选波束形成器控制器45因此确定候选权重向量BW等于零权重向量BZ的复共轭。然而,只要候选波束形成器控制器45确定候选权重向量BW与零权重向量BZ的复共轭一致即可。
在上述理想情况下,确定候选权重向量BW与零权重向量BZ的复共轭一致,将导致候选波束形成器信号SW具有与第一和第二声音入口8、9的位置互换的零波束形成器信号SZ相同的方向特性形状,即向前心形24,这实际上相当于相对于向前和向后方向22、23在空间上翻转向后心形25。在理想情况下,实际上,向前心形24是用于增加或最大化候选波束形成器信号SW中的语音声音V的相对量的最佳方向特性。复共轭一致的要求确保了方向特性的翻转独立于第一和第二麦克风单元11、12的灵敏度差异而起作用。对于从近场到达的语音声音V,获得的方向特性不是理想的心形,但是通过复共轭的翻转仍然可以使候选波束形成器信号SW中的语音声音V最大化。确定候选权重向量BW与零权重向量BZ的复共轭一致是一种最佳解决方案。然而,在一些实施方式中,足以确定候选权重向量BW以定义非最佳候选波束形成器44。例如,候选波束形成器控制器45可以根据零权重向量BZ估计指示零波束形成器41的方向特性25的零方向,然后确定候选权重向量BW以定义候选波束形成器44的心形方向特性,其空方向与估计的空方向大致相反,例如与估计的空方向相距至少160°。
在第三步骤中,辅助波束形成器控制器34估计候选波束形成器44的性能,估计其性能是否比当前辅助波束形成器33好,并且在那种情况下,将辅助传递函数HF更新为等于候选传递函数HW。因此,辅助波束形成器控制器34自适应地确定辅助权重向量BF等于或刚好等于候选权重向量BW。辅助波束形成器控制器34可以可替代地自适应地确定辅助权重向量BF,以收敛于等于或刚好等于候选权重向量BW。为了进行性能估计,候选语音检测器46应用预定义的测量函数A,以确定候选波束形成器信号SW中语音声音V的候选语音测量VW。辅助波束形成器控制器34因此根据候选语音测量VW自适应地确定辅助权重向量BF。
辅助波束形成器控制器34可以例如将候选语音测量VW与辅助语音测量VF进行比较,并且在候选语音测量VW超过辅助语音测量VF时更新辅助权重向量BF。备选地或附加地,辅助波束形成器控制器34可以将候选语音测量VW与语音测量阈值进行比较,当候选语音测量VW超过语音测量阈值时更新辅助权重向量BF,然后还将语音测量阈值更新为等于候选语音测量VW。
为了进行性能估计,零语音检测器43还可以应用预定义的测量函数A,以确定零波束形成器信号SZ中的语音声音V的零语音测量VZ。辅助波束形成器控制器34可以根据候选语音测量VW和零语音测量VZ来自适应地确定辅助权重向量BF。
可以将语音测量函数A选择为简单地与对其应用信号的能量水平或信号幅度正相关的函数。语音测量函数A的输出因此可以例如等于其输入信号的平均能量水平或平均幅度。然而,在具有高噪声水平的环境中,更复杂的语音测量函数A可能更适合,并且现有技术中存在多种这样的函数,例如也考虑频率分布的函数。
优选地,辅助波束形成器控制器34根据候选语音测量VW并且优选地进一步根据残余语音测量VZ来确定候选波束形成器分数EW。因此,辅助波束形成器控制器34可以使用候选波束形成器得分EW作为候选波束形成器44的性能的指示。辅助波束形成器控制器34可以例如将候选波束形成器分数EW确定为单独的候选语音测量VW的正单调函数,作为候选语音测量VW和残余语音测量VZ之间的差,或更优选地,作为候选语音测量VW与残余语音测量VZ之比。在后一种情况下,优选将语音测量函数A选择为非零函数以避免划分误差。使用候选语音测量VW和残余语音测量VZ两者来确定候选波束形成器得分EW可有助于确保在适应辅助波束形成器的不利条件普遍存在时,例如在没有语音和大声噪声的情况下,将候选波束形成器分数EW保持较低。应当选择语音测量函数A,以使其与相应的波束形成器信号SF,SW,SZ中的语音声音正相关,并且上面建议的候选波束形成器分数EW的建议计算也应该与候选波束形成器44的性能正相关。
为了增加波束形成器适配的稳定性,辅助波束形成器控制器34优选地根据候选语音测量VW和/或残余语音测量VZ的平均版本来确定候选波束形成器分数EW。辅助波束形成器控制器34可以例如将候选波束形成器分数EW确定为候选语音测量VW的N个连续值之和的正单调函数,作为候选语音测量VW的N个连续值之和与残余语音测量VZ的N个连续值之和之间的差,或更优选地,作为候选语音测量VW的N个连续值之和与残余语音测量VZ的N个连续值之和的比,其中N是预定的正整数,例如2到100范围内的数字。
辅助语音检测器35可以根据上述用于确定候选波束形成器分数EW的任何原理来确定辅助波束形成器分数EF,但是使用辅助语音测量VF代替候选语音测量VW作为输入。辅助语音检测器35还可通过将抑制权重向量应用于辅助输入向量MA来确定抑制波束形成器信号,其中,抑制权重向量等于或等于辅助权重向量BF的复共轭,通过将语音测量函数A应用于抑制波束形成器信号来确定抑制语音测量,并使用抑制语音测量代替空语音测量VZ作为确定辅助波束形成器分数EF的输入。辅助波束形成器分数EF可以是频率相关的函数。因此,辅助波束形成器得分EF可以反映或表示候选波束形成器得分EW,但是基于由辅助波束形成器33表示的候选波束形成器44的“最佳”版本。
辅助波束形成器控制器34优选地根据候选波束形成器分数EW超过辅助波束形成器分数EF和/或波束形成器更新阈值EB来确定辅助权重向量BF,并且优选地还取决于候选波束形成器得分EW来增加波束形成器更新阈值EB。例如,当确定候选波束形成器分数EW超过辅助波束形成器分数EF和/或波束形成器更新阈值EB时,辅助波束形成器控制器34可以将辅助滤波器F更新为等于或等于候选滤波器W,并且可以同时将波束形成器更新阈值EB设置为等于确定的候选波束形成器分数EW。为了完成平滑过渡,辅助波束形成器控制器34可以替代地控制辅助滤波器F的辅助传递函数HF缓慢收敛,以使其等于或刚好等于候选滤波器W的候选传递函数HW。辅助波束形成器控制器34可以例如控制辅助滤波器F的辅助传递函数HF以等于候选滤波器W的候选传递函数HW和辅助滤波器F的当前辅助传递函数HF的权重和。辅助波束形成器控制器34可以优选地进一步确定可靠性得分R,并基于所确定的可靠性得分R来确定在权重和的计算中应用的权重,使得当可靠性得分R高时波束形成器的适应更快,反之亦然。辅助波束形成器控制器34可以优选地根据检测到波束形成器自适应的不利条件来确定可靠性得分R,使得可靠性得分R反映出声学环境对自适应性的适合性。不利条件的例子包括高音调的声音,即信号能量仅集中在几个频带中,确定的候选波束形成器得分EW的值很高,风噪声和指示异常声学环境的其他条件。因此,辅助波束形成器33被重复更新以反映或等于候选波束形成器44的“最佳”版本。残余语音测量VZ,候选波束形成器分数EW和/或波束形成器更新阈值EB可以是频率相关的函数,并且,辅助波束形成器控制器34可以仅针对候选波束形成器分数EW超过辅助波束形成器分数EF和/或波束形成器更新阈值EB的频带或频段,来更新辅助权重向量BF。
辅助波束形成器控制器34优选地根据诸如麦克风设备30的通电、定时器事件、用户输入、不存在用户语音V等的触发条件来降低波束形成器更新阈值EB,以便避免例如在改变扬声器位置7之后辅助滤波器F保持在不利状态。辅助波束形成器控制器34可以例如在开机时或当检测到用户按下重置按钮或操纵麦克风臂5时,将波束形成器更新阈值EB重置为零或预定义的低值,和/或例如定期将波束形成器更新阈值EB降低一点,例如每五分钟一次。当降低波束形成器更新阈值EB时,辅助波束形成器控制器34可以优选地进一步将辅助滤波器F重置为预先计算的传递函数HF0,使得麦克风设备30每次从合适的起点重新学习最优方向特性。可以在设计或制造麦克风设备30时预先定义预计算的传递函数HF0。此外,或者,可以根据在使用麦克风设备30期间遇到的辅助滤波器F的传递函数HF的平均值来计算预先计算的传递函数HF0,并且可以在将麦克风设备30加电之后,将该预先计算的传递函数HF0存储在存储器中以作为预先计算的传递函数HF0再次使用,因此,麦克风设备30通常以适当的起点启动,以学习最佳的方向特性。
辅助语音检测器35可以从辅助波束形成器分数EF或候选波束形成器分数EW导出用户语音活动信号VAD,作为用户6何时讲话的指示,并且可以进一步将用户语音活动信号VAD用于其他信号处理,例如静噪功能或后续的降噪滤波器。优选地,辅助波束形成器控制器34根据辅助波束形成器分数EF或候选波束形成器分数EW超过用户声音阈值EV来提供用户声音活动信号VAD。优选地,辅助语音检测器35还根据辅助波束形成器分数EF或候选波束形成器分数EW不超过无用户语音的阈值EN(其低于用户语音阈值EV)提供无用户语音的活动信号NVAD。使用辅助波束形成器分数EF或候选波束形成器分数EW来确定用户语音活动信号VAD和/或无用户语音活动信号NVAD可以确保提高用户语音活动信令的稳定性,因为该标准所使用的原则上与控制辅助波束形成器的标准相同。用户语音阈值EV,用户语音活动信号VAD,无用户语音阈值EN和/或无用户语音活动信号NVAD可以是频率相关的函数。
在一些实施方式中,可以从平均信号中确定候选波束形成器分数EW,并且在那种情况下,辅助语音检测器35优选地根据辅助波束形成器分数EF确定用户语音活动信号VAD和/或无用户语音活动信号NVAD,以获得更快的用户语音活动信令。
第一,第二和第三麦克风单元11、12、13中的每个可以优选地如图5所示地配置。每个麦克风单元11、12、13因此可以包括声电输入换能器M,它根据在相应声音入口8、9、10处接收到的声音提供模拟麦克风信号SA,数字变换器AD,其根据模拟麦克风信号SA提供数字麦克风信号SD,频谱变换器FT,确定数字麦克风信号SD的时间上连续部分的频率和相位含量,以提供相应的输入音频信号X、Y、Q作为合并的频谱信号。频谱变换器FT可以优选地用作短时傅立叶变换器,并且提供相应的输入音频信号X、Y、Q作为数字麦克风信号SD的短时傅立叶变换。
除了通常促进滤波器计算和信号处理外,麦克风信号SA的频谱变换还为输入音频信号X、Y、Q提供了固有的信号延迟,从而使波束形成器权重函数和线性滤波器F,Z,W能够产生负延迟,从而使麦克风设备30相对于用户的嘴7的位置自由定向。但是,在需要的地方,可以限制一个或多个波束形成器控制器32、34、42、45以限制方向特性的范围。例如,零波束形成器控制器42可以被约束以确保零波束形成器信号SZ的方向特性中的任何空都落入由向前方向22定义的半空间内。用于实现这种约束的许多算法在现有技术中是已知的。
零波束形成器控制器42可以优选地基于从第一输入音频信号X和第二输入音频信号Y导出的累积功率谱来确定零传递函数HZ。这允许应用众所周知且有效的算法,例如有限脉冲响应(FIR)维纳滤波器计算,以最小化零波束形成器信号SZ。如果将零混频器JZ用作减法器,则当零滤波信号ZY等于第一输入音频信号X时,将使零波束形成器信号SZ最小化。FIR维纳滤波器计算旨在解决此类问题,即针对估计对于给定的输入信号提供等于给定目标信号的滤波信号的滤波器。如果将混频器JZ实现为减法器,则可以将第一输入音频信号X和第二输入音频信号Y分别用作目标信号和FIR维纳滤波器计算的输入信号,然后计算所需的零滤波器Z。
如图6所示,零波束形成器控制器42因此优选地包括第一自动功率累加器PAX,第二自动功率累加器PAY,交叉功率累加器CPA和滤波器估计器FE。第一自动功率累加器PAX基于第一输入音频信号X累加第一自动功率谱PXX,第二自动功率累加器PAY基于第二输入音频信号Y累加第二自动功率谱PYY,交叉功率累加器CPA基于第一输入音频信号X和第二输入音频信号Y累积交叉功率谱PXY,并且滤波器估计器FE基于第一自动功率谱PXX,第二自动功率谱PYY和交叉功率谱PXY来控制零滤波器Z的零传递函数HZ。
滤波器估计器FE优选地基于第一自动功率谱,第二自动功率谱和第一交叉功率谱,使用FIR维纳滤波器的计算来控制零传递函数HZ。注意,存在执行维纳滤波器计算的不同方法,并且它们可以基于不同的功率谱集,但是,所有此类集合都直接或间接地基于第一输入音频信号X和第二输入音频信号Y。
取决于零波束形成器控制器42和零滤波器Z的实现,零波束形成器控制器42不一定需要估计零传递函数HZ本身。例如,如果零滤波器Z是时域FIR滤波器,则零波束形成器控制器42可以替代地估计一组滤波器系数,其可以使零滤波器Z有效地应用零传递函数HZ。
通常希望由辅助波束形成器33提供的辅助波束形成器信号SF应包含可理解的语音,并且在这种情况下,辅助波束形成器33优选地对输入音频信号X、Y进行操作,这些输入音频信号X、Y不是-或仅是中等-平均或其他低通滤波。相反,由于零波束形成器信号SZ和候选波束形成器信号SW的主要目的可以是允许对辅助波束形成器32进行适配,因此,零波束形成器41和候选波束形成器44可以优选地对平均信号进行操作,例如以便减少计算负荷。此外,通过基于输入音频信号X、Y的平均版本来估计零滤波器Z和候选滤波器W,可以实现对语音信号变化的更好的适应。
由于第一自动功率谱PXX,第二自动功率谱PYY和交叉功率谱PXY中的每个原则上可以被认为是各个频谱信号X、Y、Z的平均值,这些功率谱也可以用于确定候选语音测量VW和/或残余语音测量VZ。相应地,零滤波器Z可以优选地以第二自动功率谱PYY作为输入,并因此提供零滤波信号ZY作为固有的平均信号,零混频器JZ可以将第一自动功率谱PXX和固有平均的零滤波信号ZY作为输入,从而提供零波束形成器信号SZ作为固有平均的信号,残余语音检测器43可以将固有平均的零波束形成器信号SZ作为输入,从而将残余语音测量VZ提供为固有平均的信号。
类似地,候选滤波器W可以优选地以第二自动功率谱PYY作为输入,并且因此提供候选滤波信号WY作为固有平均信号,候选混频器JW可以以第一自动功率谱PXX和固有平均候选滤波信号WY作为输入,从而提供候选波束形成器信号SW作为固有平均信号,以及候选语音检测器46可以将固有平均候选波束形成器信号SW作为输入,从而提供候选语音测量VW作为固有平均信号。
第一自动功率累加器PAX,第二自动功率累加器PAY和交叉功率累加器CPA优选地,在50-500ms,更优选地在150和250ms之间的时间段上累积各个功率谱,以使得能够可靠且稳定地确定语音测量VW,VZ。
候选波束形成器控制器45可以优选地通过计算零传递函数HZ的复共轭来确定候选传递函数HW。对于在合并频域中的滤波器,可以通过针对每个频段的滤波器系数的复共轭来实现复共轭。在候选混频器JW的配置与零混频器JZ的配置不同的情况下,则候选波束形成器控制器45可以进一步应用线性缩放以确保候选波束形成器44的正确函数。候选波束形成器控制器45通常可以将候选权重向量BW确定为权重向量BZ的复共轭。
在将辅助滤波器F,零滤波器Z和候选滤波器W实现为FIR时域滤波器的情况下,则在麦克风设备30中可能不能明确地使用零传递函数HZ,然后,候选波束形成器控制器45可以将候选滤波器W计算为空滤波器Z的副本,但是具有滤波器系数的逆序和具有延迟的逆。由于不能在时域中实现负延迟,因此反转所得候选滤波器W的延迟可能需要向用作候选混频器JW的X输入的信号添加足够的延迟。在任何情况下,除了或代替频谱转换器FT之外,第一麦克风单元11和第二麦克风单元12中的一个或两者可以包括延迟单元(未示出),以便延迟相应的输入音频信号X、Y。
在第一和第二音频输入信号X、Y相对于相应的声音入口8、9处的声音具有不同的延迟的情况下,方向特性的翻转通常将产生具有与零波束形成器41的方向特性不同的形状类型的候选波束形成器44的方向特性。取决于延迟差,翻转可以例如从向后心形25产生向前心形特征。可以利用这种效果来使候选波束形成器44适应于特定的使用场景,例如特定的空间噪声分布和/或特定的相对扬声器位置7。辅助波束形成器控制器34和/或候选波束形成器控制器45可以适于控制由一个或多个频谱变换器FT和/或延迟单元提供的延迟,例如取决于设备设置,用户输入和/或进一步信号处理的结果。
在一些实施方式中,例如在图1所示的头戴式耳机1中,由第一和第二声音入口8、9限定的直线21也可以穿过第三声音入口10。在这样的实施方式中,麦克风设备30可以包括另一个辅助控制器40,并且,主波束形成器控制器32可以进一步取决于为另一辅助控制器40的另一辅助波束形成器33确定的另一辅助权重向量BF来确定引导向量dM。然后,另一辅助波束形成器33可以在由第一和第三麦克风输入X、Q构成或由第二和第三麦克风输入Y、Q构成的另一辅助输入向量MA上进行操作。主波束形成器控制器32可以例如确定引导向量dM是与辅助权重向量BF和另一个辅助权重向量BF是一致的,因此将不需要通过其他方法确定第三主权重向量分量BMQ。例如,如果主波束形成器控制器32已经如上所述确定引导向量分量dMX和dMY,并且另一辅助波束形成器控制器34已经针对第一和第三麦克风输入X/Q确定了另一辅助权重向量BF=(BFX2,BFQ),则主波束形成器控制器32可以例如基于公式:dMQ=dMX/BFX2x BFQ确定第三输入音频信号Q的引导向量分量dMQ。该原理可以扩展到具有多于三个,例如四个,五个或六个麦克风单元11、12、13的主麦克风阵列14的实施方式,其中声音入口8、9、10布置在直线21上。
在具有三个或多个,例如四个,五个,六个,七个,八个或多个的主麦克风阵列14的实施方式中,麦克风单元11、12、13的声音入口8、9、10并未全部排列在直线21上,麦克风设备30可以包括多个辅助控制器40,例如两个,三个,四个或甚至更多,并且主波束形成器控制器32可以根据为多个辅助控制器40中的各个辅助波束形成器33确定的两个或多个辅助权重向量BF来确定引导向量dM。在这样的实施方式中,麦克风设备30通常应该被设计成使得如果任何两个辅助波束形成器33对来自麦克风单元11、12、13的麦克风输入X、Y、Q进行操作,且麦克风的声音入口8、9、10不在同一条直线21上,则这些辅助波束形成器33不应共享其麦克风输入X、Y、Q中的任何一个。否则,主波束形成器控制器32可能无法准确地确定引导向量dM。例如,这可以适用于主麦克风阵列14,该主麦克风阵列14具有在头戴式耳机1的两个耳机2、3上具有声音入口8、9、10的麦克风单元11、12、13。
当辅助麦克风阵列15被定向成使得直线21大约在用户的嘴7的方向上延伸时,辅助波束形成器33通常将表现更好。麦克风设备30因此应该优选地被设计成轻推或敦促用户6相应地布置辅助麦克风阵列15,例如像在图1中所示的头戴式耳机1中那样。在具有麦克风单元11、12、13的声音入口8、9、10并未全部排列在直线21上的主麦克风阵列14以及具有两个或多个辅助控制器40的实施方式中,各个辅助波束形成器33的性能可能不一样。为了解决这个问题,主波束形成器控制器32可以基于例如它们的辅助波束形成器分数EF选择可用辅助波束形成器33的适当子集,并确定引导向量dM仅与为所选子集中的辅助波束形成器33确定的辅助权重向量BF一致。主波束形成器控制器32可以在子集中仅包括例如一个或仅两个辅助波束形成器33,其具有所有可用的辅助波束形成器33中较高的辅助波束形成器得分EF。在设计上更有利地布置一个或多个辅助波束形成器33的实施方式中,即使这些辅助波束形成器33的辅助波束形成器分数EF低于其他辅助波束形成器33,也可以在其他辅助波束形成器33之上选择这些辅助波束形成器33。主波束形成器控制器32可以可替代地或另外地应用类似的逻辑来确定从两个或多个辅助控制器40中的哪个接收用户语音活动信号VAD或无用户语音活动信号NVAD。
尽管本文公开的示例基于配置为MVDR波束形成器的主波束形成器31,但是本公开的原理可以适用于需要引导向量、用户语音活动信号VAD和/或无用户语音活动信号NVAD以进行适当操作的其他自适应波束形成器类型。
数字电路的功能块可以以硬件、固件或软件或其任何组合来实现。数字电路可以并行和/或以交错的顺序执行多个功能块的功能,并且功能块可以以任何合适的方式分布在多个硬件单元之间,诸如,例如信号处理器、微控制器和其他集成电路。
本文给出的详细描述和指示本发明优选实施方式的具体实施方式旨在使本领域技术人员能够实施本发明,因此应主要被视为本发明的说明。在不脱离本发明的范围的情况下,本领域技术人员将能够容易地设想本发明的进一步应用以及根据该描述的有利的改变和修改。本文提及的任何此类改变或修改意在非限制本发明的范围。
本发明不限于本文公开的实施方式,并且本发明可以以其他方式在所附权利要求书所限定的主题内体现。作为示例,例如为了使根据本发明的设备适应特定要求,所描述的实施方式的特征可以被任意地组合。
权利要求书中的任何附图标记和标签旨在不限制权利要求书的范围。
Claims (15)
1.一种麦克风设备(30),适于根据从所述麦克风设备的用户(6)接收的语音声音(V)来提供主输出音频信号(SM),所述麦克风设备包括:
-具有第一麦克风单元(11)、第二麦克风单元(12)和第三麦克风单元(13)的主麦克风阵列(14),所述第一麦克风单元(11)适于根据在第一声音入口(8)处接收的声音来提供第一输入音频信号(X),所述第二麦克风单元(12)适于根据在与所述第一声音入口(8)在空间上分开的第二声音入口(9)处接收的声音来提供第二输入音频信号(Y),所述第三麦克风单元(13)适于根据在与所述第一声音入口(8)和所述第二声音入口(9)在空间上分开的第三声音入口(10)处接收的声音来提供第三输入音频信号(Q),从而将所述主麦克风阵列(14)定义为提供包括所述第一入音频信号,所述第二入音频信号和所述第三输入音频信号(X、Y、Q)作为分量的主输入向量(MM);
-主波束形成器(31),适于通过向主所述输入向量(MM)应用主权重向量(BM)来提供所述主输出音频信号(SM)作为波束形成的信号;以及
-主波束形成器控制器(32),适于重复确定主引导向量(dM)并根据所述主引导向量(dM)和所述主输入向量(MM)自适应地确定所述主权重向量(BM),以增加所述主输出音频信号(SM)中来自所述用户(6)的所述语音声音(V)的相对量,其中所述主引导向量(dM)指示所述主波束形成器(31)的所需响应;
其特征在于,所述麦克风设备还包括:
-辅助波束形成器(33),适于通过将辅助权重向量(BF)应用到包括所述第一输入音频信号和所述第二输入音频信号(X,Y)作为分量的辅助输入向量(MA),来提供辅助波束形成器信号(SF)作为波束形成的信号;以及
-辅助波束形成器控制器(34),适于自适应地确定所述辅助权重向量(BF),以增加所述辅助波束形成器信号(SF)中来自所述用户(6)的所述语音声音(V)的相对量;
其中,所述主波束形成器控制器(32)还适于根据所述辅助权重向量(BF)来确定所述主引导向量(dM)。
2.根据权利要求1所述的麦克风设备,还包括:
-候选波束形成器(44),适于通过将候选权重向量(BW)应用到所述辅助输入向量(MA)来提供候选波束形成器信号(SW)作为波束形成的信号;以及
-候选波束形成器控制器(45),适于自适应地确定所述候选权重向量(BW),以增加所述候选波束形成器信号(SW)中来自所述用户(6)的所述语音声音(V)的相对量;
其中,所述辅助波束形成器控制器(34)还适于根据所述候选波束形成器信号(SW)来确定与所述候选权重向量(BW)一致或朝所述候选权重向量(BW)收敛的所述辅助权重向量(BF)。
3.根据权利要求2所述的麦克风设备,还包括:
-零波束形成器(41),适于通过将零权重向量(BZ)应用到所述辅助输入向量(MA)来提供零波束形成器信号(SZ)作为波束形成的信号;以及
-零波束形成器控制器(42),适于自适应地确定所述零权重向量(BZ),以减小所述零波束形成器信号(SZ)中来自所述用户(6)的语音声音(V)的相对量;
其中,所述候选波束形成器控制器(45)还适于根据所述零权重向量(BZ)和所述零波束形成器信号(SZ)来确定所述候选权重向量(BW)。
4.根据权利要求3所述的麦克风设备,其中,所述候选波束形成器控制器(45)还适于根据所述零波束形成器信号(SZ)来确定与所述零权重向量(BZ)的复共轭一致或朝所述零权重向量(BZ)的复共轭收敛的所述候选权重向量(BW)。
5.根据前述权利要求中的任一项所述的麦克风设备,其中,所述主波束形成器控制器(34)还适于确定与所述辅助权重向量(BF)一致或朝所述辅助权重向量(BF)收敛的所述主引导向量(dM)。
6.根据前述权利要求中的任一项所述的麦克风设备,其中,所述主波束形成器控制器(32)还适于确定所述主引导向量(dM)等于或收敛于所述辅助权重向量(BF)。
7.根据前述权利要求中的任一项所述的麦克风设备,还包括:辅助语音检测器(35),适于应用语音测量函数(A)以确定所述辅助波束形成器信号(SF)中的语音声音(V)的辅助语音测量(VF);其中,所述主波束形成器控制器(32)还适于根据所述辅助语音测量(VF)确定所述主引导向量(dM)。
8.根据权利要求7所述的麦克风设备,还包括候选语音检测器(46),适于应用语音测量函数(A)以确定所述候选波束形成器信号(VW)中语音声音(V)的候选语音测量(VW);其中,所述主波束形成器控制器(32)还适于根据所述候选语音测量(VW)确定所述主引导向量(dM)。
9.根据权利要求3和权利要求8所述的麦克风设备,还包括残余语音检测器(43),适于应用语音测量函数(A)来确定所述零波束形成器信号(SZ)中语音声音(V)的残余语音测量(VZ);其中,所述主波束形成器控制器(32)还适于根据所述残余语音测量(VZ)确定所述主引导向量(dM)。
10.根据权利要求9所述的麦克风设备,其中,所述辅助波束形成器控制器(34)还适于:
-根据所述候选语音测量(VW)和所述残余语音测量(VZ)来确定候选波束形成器分数(EW);
-进一步根据所述候选波束形成器分数(EW)超过第一阈值(EB)来确定所述辅助权重向量(BF);以及
-根据所述候选波束形成器分数(EW)增加所述第一阈值(EB)。
11.根据权利要求10所述的麦克风设备,其中:
-所述辅助波束形成器控制器(35)还适于根据波束形成器得分(EW,EF)超过第二阈值(EV)来提供用户语音活动信号(VAD);以及
-所述主波束形成器控制器(32)还适于根据所述用户语音活动信号(VAD)来确定所述主引导向量(dM)。
12.根据权利要求11所述的麦克风设备,其中:
-所述辅助波束形成器控制器(35)还适于根据波束形成器分数(EW,EF)不超过第三阈值(EN)来提供无用户语音活动信号(NVAD),其中,所述第三阈值(EN))低于所述第二阈值(EV);以及
-所述主波束形成器控制器(32)还适于根据所述无用户语音活动信号(NVAD)来确定所述主引导向量(dM)。
13.根据任一前述权利要求所述的麦克风设备,包括两个或多个辅助波束形成器(33),每个辅助波束形成器(33)对两个输入音频信号(X、Y、Q)的不同集合进行操作,其中,所述主波束形成器控制器(32)还适于根据由两个或多个辅助波束形成器控制器(35)为所述两个或多个辅助波束形成器(33)中的相应一个确定的两个或多个辅助权重向量(BF)来确定所述主引导向量(dM)。
14.根据权利要求13所述的麦克风设备,其中:
-所述两个或多个辅助波束形成器控制器(35)中的每个适于确定所述两个或多个辅助波束形成器(33)中的相应一个的辅助波束形成器分数(EW);以及
-所述主波束形成器控制器(32)还适于根据为所述两个或多个辅助波束形成器(33)确定的所述辅助波束形成器分数(EW)的比较,确定所述主引导向量(dM)。
15.一种头戴式耳机(1),包括根据前述权利要求中任一项所述的麦克风设备(30)。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP18215941.8A EP3675517B1 (en) | 2018-12-31 | 2018-12-31 | Microphone apparatus and headset |
EP18215941.8 | 2018-12-31 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111385713A true CN111385713A (zh) | 2020-07-07 |
CN111385713B CN111385713B (zh) | 2022-03-04 |
Family
ID=64901913
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911393290.XA Active CN111385713B (zh) | 2018-12-31 | 2019-12-30 | 麦克风设备和头戴式耳机 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10904659B2 (zh) |
EP (1) | EP3675517B1 (zh) |
CN (1) | CN111385713B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115086836A (zh) * | 2022-06-14 | 2022-09-20 | 西北工业大学 | 一种波束形成方法、系统及波束形成器 |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102466293B1 (ko) * | 2018-07-12 | 2022-11-14 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 보조 신호를 사용하는 오디오 디바이스에 대한 송신 제어 |
US11670298B2 (en) | 2020-05-08 | 2023-06-06 | Nuance Communications, Inc. | System and method for data augmentation for multi-microphone signal processing |
US11482236B2 (en) * | 2020-08-17 | 2022-10-25 | Bose Corporation | Audio systems and methods for voice activity detection |
US11783809B2 (en) * | 2020-10-08 | 2023-10-10 | Qualcomm Incorporated | User voice activity detection using dynamic classifier |
CN112735370B (zh) * | 2020-12-29 | 2022-11-01 | 紫光展锐(重庆)科技有限公司 | 一种语音信号处理方法、装置、电子设备和存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103632675A (zh) * | 2012-08-24 | 2014-03-12 | 奥迪康有限公司 | 个人通信中降噪和回波消除时的噪声估计 |
CN104703106A (zh) * | 2013-12-06 | 2015-06-10 | 奥迪康有限公司 | 用于免提通信的助听器装置 |
CN106231520A (zh) * | 2015-06-02 | 2016-12-14 | 奥迪康有限公司 | 对等联网听力系统 |
EP3306956A1 (en) * | 2016-10-05 | 2018-04-11 | Oticon A/s | A binaural beamformer filtering unit, a hearing system and a hearing device |
-
2018
- 2018-12-31 EP EP18215941.8A patent/EP3675517B1/en active Active
-
2019
- 2019-12-11 US US16/710,947 patent/US10904659B2/en active Active
- 2019-12-30 CN CN201911393290.XA patent/CN111385713B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103632675A (zh) * | 2012-08-24 | 2014-03-12 | 奥迪康有限公司 | 个人通信中降噪和回波消除时的噪声估计 |
CN104703106A (zh) * | 2013-12-06 | 2015-06-10 | 奥迪康有限公司 | 用于免提通信的助听器装置 |
CN106231520A (zh) * | 2015-06-02 | 2016-12-14 | 奥迪康有限公司 | 对等联网听力系统 |
EP3306956A1 (en) * | 2016-10-05 | 2018-04-11 | Oticon A/s | A binaural beamformer filtering unit, a hearing system and a hearing device |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115086836A (zh) * | 2022-06-14 | 2022-09-20 | 西北工业大学 | 一种波束形成方法、系统及波束形成器 |
Also Published As
Publication number | Publication date |
---|---|
CN111385713B (zh) | 2022-03-04 |
EP3675517A1 (en) | 2020-07-01 |
US20200213726A1 (en) | 2020-07-02 |
EP3675517B1 (en) | 2021-10-20 |
US10904659B2 (en) | 2021-01-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111385713B (zh) | 麦克风设备和头戴式耳机 | |
EP3253075B1 (en) | A hearing aid comprising a beam former filtering unit comprising a smoothing unit | |
US9723422B2 (en) | Multi-microphone method for estimation of target and noise spectral variances for speech degraded by reverberation and optionally additive noise | |
EP3704874B1 (en) | Method of operating a hearing aid system and a hearing aid system | |
CN109996137B (zh) | 麦克风装置和耳机 | |
US20140146977A1 (en) | Method of controlling an update algorithm of an adaptive feedback estimation system and a decorrelation unit | |
WO2008045476A2 (en) | System and method for utilizing omni-directional microphones for speech enhancement | |
WO2019086439A1 (en) | Method of operating a hearing aid system and a hearing aid system | |
Schepker et al. | Acoustic feedback cancellation for a multi-microphone earpiece based on a null-steering beamformer | |
WO2018192571A1 (zh) | 波束形成器和波束形成方法以及助听系统 | |
Schepker et al. | Combining null-steering and adaptive filtering for acoustic feedback cancellation in a multi-microphone earpiece | |
DK201800462A1 (en) | METHOD OF OPERATING A HEARING AID SYSTEM AND A HEARING AID SYSTEM | |
Tran | Robust Techniques for Acoustic Feedback Control in Hearing Aids | |
CN116405818A (zh) | 包括低复杂性波束形成器的听力装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |