CN109756822A - 使用传递函数估计的有效回波消除 - Google Patents

使用传递函数估计的有效回波消除 Download PDF

Info

Publication number
CN109756822A
CN109756822A CN201811228970.1A CN201811228970A CN109756822A CN 109756822 A CN109756822 A CN 109756822A CN 201811228970 A CN201811228970 A CN 201811228970A CN 109756822 A CN109756822 A CN 109756822A
Authority
CN
China
Prior art keywords
acoustic echo
coefficient
echo canceller
transfer function
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811228970.1A
Other languages
English (en)
Other versions
CN109756822B (zh
Inventor
E·蒂泽凯尔-汉考克
I·马尔卡
V·图尔巴宾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN109756822A publication Critical patent/CN109756822A/zh
Application granted granted Critical
Publication of CN109756822B publication Critical patent/CN109756822B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0232—Processing in the frequency domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/028—Casings; Cabinets ; Supports therefor; Mountings therein associated with devices performing functions other than acoustics, e.g. electric candles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/23—Direction finding using a sum-delay beam-former
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Telephone Function (AREA)

Abstract

描述了用于声学回波消除的技术方案。示例方法包括由波束形成器计算多个更新的波束形成器滤波器系数，自适应地计算波束形成器滤波器系数以从多个输入音频信号确定语音信号。此外，该方法包括通过传递函数估计器基于更新的波束形成器滤波器系数和多个当前的声学回波消除器系数来计算相对传递函数。此外，该方法包括使用相对传递函数调节多个声学回波消除器系数，并且通过声学回波消除器，通过使用调节后的滤波器系数从语音信号中消除回波分量来产生输出语音信号。此外，该方法包括通过声学回波消除器将输出语音信号发送到远端语音设备。

Description

使用传递函数估计的有效回波消除
引言
本主题公开内容一般涉及信息娱乐系统，并且尤其涉及与信息娱乐系统交互时的回波消除，并且更具体地涉及用于多个麦克风的回波消除的系统和方法。
诸如汽车的现代车辆通常配备有信息娱乐系统，以便于车辆的乘员与远端设备(例如蜂窝电话)上的人之间的通信。例如，免提呼叫系统可以使用车辆舱室中的一个或多个麦克风来将来自车辆乘客的可听通信发送到远程呼叫者，同时通过车辆的音频系统广播来自远程呼叫者的远端语音。然而，麦克风可以接收广播的远端语音，并因此导致发送给远程呼叫者的信号中的不需要的反馈和声学回波。这样，远程呼叫者可以听到从免提呼叫系统接收中接收到的信号中的声学回波。
因此，期望提供一种用于舱室中的回波消除的系统和方法，其允许利用最小数量的声学回波消除模块(AECM)来实现多个麦克风的远端语音的回波消除。另外，希望增强舱室室中的乘员与远端设备之间的通信。结合附图和前述技术领域和背景技术，从随后的详细描述和所附权利要求，本发明的其它期望特征和特征将变得显而易见。
发明内容
在一个示例性实施例中，示例方法包括通过波束形成器计算多个更新的波束形成器滤波器系数，自适应地计算波束形成器滤波器系数以从多个输入音频信号确定语音信号。此外，该方法包括通过传递函数估计器基于更新的波束形成器滤波器系数和多个当前的声学回波消除器系数来计算相对传递函数。此外，该方法包括使用相对传递函数调节多个声学回波消除器系数，并且通过声学回波消除器，通过使用调节后的滤波器系数从语音信号中消除回波分量来产生输出语音信号。此外，该方法包括由声学回波消除器将输出语音信号发送到远端语音设备。
在一个或多个示例中，相对传递函数被计算为E＝(H1*F'1+H2*F'2+...Hn*F’n)/(H1*F1+H2*F2+...Hn*Fn)，其中Hi是当前的多个声学回波消除器系数，Fi是当前的多个波束形成器滤波器系数，F'i是多个更新的波束形成器滤波器系数，并且e是相对传递函数。
在一个或多个示例中，该方法还包括通过声学回波消除器使调节的声学回波消除器系数基于舱室声学的变化来调节更新的声学回波消除器系数。
此外，在一个或多个示例中，通过执行声学回波消除器系数和相对传递函数的卷积来修改声学回波消除器系数。
在一个或多个示例中，从包括多个麦克风的麦克风阵列接收输入音频信号。此外，不管麦克风阵列中的麦克风的数量如何，都使用单个声学回波消除器。在一个或多个示例中，输出语音信号包括用于远端语音设备的命令。
在另一示例性实施例中，车辆信息娱乐系统包括麦克风阵列，该麦克风阵列包括位于车辆的舱室中的多个麦克风。车辆信息娱乐系统还包括广播输出音频信号的扬声器。此外，车辆信息娱乐系统包括声学回波消除(AEC)系统，以从通过麦克风阵列接收的多个输入音频信号中消除输出音频信号的声学回波。AEC系统包括波束形成器，其计算多个更新的波束形成器滤波器系数，波束形成器滤波器系数自适应地计算以从输入音频信号确定语音信号。AEC系统还包括传递函数估计器，其基于更新的波束形成器滤波器系数和多个当前的声学回波消除器系数来计算相对传递函数。此外，AEC系统包括声学回波消除器，其中使用相对传递函数调节声学回波消除器系数，声学回波消除器被配置为通过使用调节的回波消除器系数从语音信号中消除回波分量来产生输出音频信号。
在一个或多个示例中，相对传递函数被计算为E＝(H1*F'1+H2*F'2+...Hn*F’n)/(H1*F1+H2*F2+...Hn*Fn)，其中Hi是当前的多个声学回波消除器系数，Fi是当前的多个波束形成器滤波器系数，F'i是多个更新的波束形成器滤波器系数，并且e是相对传递函数。
在一个或多个示例中，声学回波消除器还基于舱室声学的变化使经调节的声学回波消除器系数适配于更新的声学回波消除器系数。此外，在一个或多个示例中，通过执行声学回波消除器系数和相对传递函数的卷积来修改声学回波消除器系数。
在一个或多个示例中，从包括多个麦克风的麦克风阵列接收输入音频信号。此外，不管麦克风阵列中的麦克风的数量如何，都使用单个声学回波消除器。在一个或多个示例中，输出语音信号包括用于远端语音设备的命令。
在又一示例性实施例中，计算机程序产品包括存储存储器设备，其中存储有计算机可执行指令。当由处理单元执行时，计算机可执行指令使处理单元执行声学回波消除。声学回波消除(AEC)包括通过波束形成器计算多个更新的波束形成器滤波器系数，自适应地计算波束形成器滤波器系数以从多个输入音频信号确定语音信号。此外，AEC包括通过传递函数估计器基于更新的波束形成器滤波器系数和多个当前的声学回波消除器系数来计算相对传递函数。此外，AEC包括使用相对传递函数调节多个声学回波消除器系数，并且通过声学回波消除器，通过使用调节后的滤波器系数从语音信号中消除回波分量来产生输出语音信号。此外，AEC包括通过声学回波消除器将输出语音信号发送到远端语音设备。
在一个或多个示例中，相对传递函数被计算为E＝(H1*F'1+H2*F'2+...Hn*F’n)/(H1*F1+H2*F2+...Hn*Fn)，其中Hi是当前的多个声学回波消除器系数，Fi是当前的多个波束形成器滤波器系数，F'i是多个更新的波束形成器滤波器系数，并且e是相对传递函数。
在一个或多个示例中，声学回波消除器还基于舱室声学的变化使经调节的声学回波消除器系数适配于更新的声学回波消除器系数。此外，在一个或多个示例中，通过执行声学回波消除器系数和相对传递函数的卷积来修改声学回波消除器系数。
在一个或多个示例中，从包括多个麦克风的麦克风阵列接收输入音频信号。此外，不管麦克风阵列中的麦克风的数量如何，都使用单个声学回波消除器。在一个或多个示例中，输出语音信号包括用于远端语音设备的命令。
从以下结合附图的详细描述中，本发明的上述特征和优点以及其他特征和优点将变得显而易见。
附图说明
仅通过示例的方式，在以下详细描述，参考附图的详细描述中，其他特征、优点和细节出现在其中：
图1示出了根据示例性实施例的具有声学处理系统的车辆；
图2描绘了根据一个或多个实施例的示例波束形成器模块的框图；
图3描绘了根据一个或多个实施例的声学处理系统的框图；以及
图4是根据一个或多个实施例的用于有效声学回波消除的示例方法的流程图。
具体实施方式
以下描述本质上仅是示例性的，并不旨在限制本发明、其应用或用途。应该理解的是，在整个附图中，相应的附图标记表示相同或相应的部件和特征。如本文所使用的那样，术语模块指的是处理电路，其可以包括专用集成电路(ASIC)、电子电路、处理器(共享、专用或组)和执行一个或多个软件或固件程序的存储器、组合逻辑电路和/或提供所述功能的其他合适组件。
参考附图，其中在几个视图中相同的附图标记表示相同的部件，本文示出了具有舱室20和声学处理系统100的车辆10。在示例性实施例中，车辆10是汽车。然而，声学处理系统100可以在其他类型的车辆中或在非车辆应用中实现和/或使用。例如，其他车辆包括但不限于飞机、航天器、公共汽车、火车等。如图1所示，声学处理系统100包括具有处理器模块112和存储器114的远端语音控制模块110、麦克风阵列120、波束形成模块130、声学回波消除器模块140和远端语音源150。
参照图1，提供了声学处理系统100的实施例。车辆10包括麦克风阵列120，以从舱室20中的乘员30、31、32和33拾取可听命令和通信。在一个示例中，麦克风阵列120用于从讲话乘员30接收可听命令和通信。在一个示例中，麦克风阵列120接收可听命令以使讲话乘员30能够通过语音识别与车辆通信总线上的一个或多个车辆系统(例如信息娱乐系统等)进行通信。
车辆10使用麦克风阵列120和扬声器40以使车辆乘员30-33能够与远端语音设备150、例如远离车辆10的远程移动电话进行通信。从远端语音设备150接收的音频在扬声器40上广播，使得车辆乘员30-33可以听到来自远端语音设备150的通信。然而，可听远端语音154可以由麦克风阵列120拾取并随后作为回波重新广播到远端语音设备150。这样，声学回波消除100通过消除或至少减少这种回波来改善远端语音设备150与舱室20中的车辆乘员30-33之间的通信。
声学处理系统100包括远端语音控制模块110、麦克风阵列120、波束形成模块130和声学回波消除器模块140。系统100向/从远端语音设备150发送/接收数据。虽然为了简单起见以通过直接连接的通信描绘了声学处理系统100的组件，但是本领域技术人员将理解，声学处理系统100可以通过诸如CAN总线、FlexRay、A2B总线或其他已知的通信总线的车辆通信总线来实现。
远端语音控制模块110在声学处理系统100内发送和接收数据，并具有处理器模块112和存储器114。处理器模块112执行计算操作并访问存储在存储器114中的电子数据。存储器114可以包括讲话乘员30-33的预先确定的位置、舱室20中的预先确定的声学区域，或者与车辆舱室20相关的其他预先确定的空间关系。存储器114可以替代性地或另外地包括一个或多个计算机可执行指令以实现本文描述的技术方案。
远端语音控制模块110检测并接收源自远端语音源150的远端语音信号(R)152，远端语音150又使用扬声器40作为可听远端语音154在舱室20中广播。通过接收远端语音信号152作为输入，声学处理系统100能够从提供给远端语音源150的舱室输出信号142声学地去除远端语音信号(R)152，从而去除回波。
麦克风阵列120包括至少两个麦克风122并接收来自讲话乘员(未示出)的可听通信，并从其产生麦克风信号124。在声学处理系统100的一个或多个示例中，麦克风阵列120中的麦克风122在舱室中彼此邻近布置。本领域技术人员将理解，麦克风阵列120中的麦克风122形成相控传感器阵列，并且因此应该彼此合理地定位。在一个或多个示例中，麦克风122布置成在舱室20中形成区域，每个区域具有一个麦克风122。在一个或多个示例中，每个区域存在至少两个麦克风122。在一个或多个示例中，麦克风122布置在舱室20中，使得每个乘员30-33有一个专用麦克风122。在一个或多个示例中，每个乘员30-33存在至少两个麦克风122。
波束形成模块130形成指向讲话乘员30的主波束138。波束形成模块130可以是任何类型的波束形成模块，例如固定波束形成器、自适应波束形成器或任何其他类型。基于通过远端语音控制模块110对远端语音信号152的检测，波束形成模块130形成主波束138。在一个或多个示例中，例如，自适应波束形成器、波束定向可以根据舱室中的乘员位置、干扰和声学条件动态地变化。
自适应波束成形或空间滤波是使用传感器阵列来提供定向信号接收的技术。通过使用相控阵，特定角度的信号经历相长干涉，而其他角度的信号经历相消干涉。以这种方式，波束形成提供了一种用于构造空间滤波器的方法，以选择性地增加在某些角度接收的信号的幅度，同时减小在其他角度接收的信号的幅度。
图2描绘了根据一个或多个实施例的示例波束形成器模块130的框图。波束形成器130从麦克风阵列120接收输入信号124，其包括来自一个或多个麦克风122的多个音频信号。这些信号中的每一个包括麦克风122从扬声器40的输出154捕获的回波分量。波束形成器130包括一个或多个滤波模块132，其被自适应地配置以形成空间滤波器。通过调节相应的滤波系数F1，F2，...，Fn来配置滤波模块132。
由波束形成器130执行的信号处理可以是滤波的输入信号的总和，其中滤波的输入信号可以包括例如时间延迟补偿的麦克风信号124。滤波模块的系数(Fx)、特别是每个系数的值可以是可变的。
应当注意，在其他示例中，自适应滤波可以以除了本文描述的方式之外的任何其他方式来执行。因此，波束形成器130在122中组合来自至少两个麦克风中的每一个的麦克风信号124，使得来自优选方向或讲话方向的信号被增强，而来自其他方向的信号被抑制。
在自适应波束形成器130的波束形成自适应中隐含地识别讲话乘员30的位置。如上所述，讲话乘员30的位置也可以是存储在存储器114中的预先确定的位置。
如本领域技术人员已知的那样，通过最小化自适应波束形成器输出信号的方差，通过波束形成器130还可以识别讲话乘员30的位置。波束形成器130还可以利用诸如线性约束最小方差(LCMV)算法之类的算法来隐式地估计讲话乘员30的位置。在一个实施例中，讲话乘员30的位置是预先确定的。在一个实施例中，诸如座椅传感器的车辆传感器(未示出)提供与乘员30-33相对于麦克风阵列120的位置有关的信息。例如，座椅传感器可用于确定前排座椅乘客31是否在舱室20中。传感器还可以提供与座椅上的驾驶员30的位置有关的信息。
通过从麦克风阵列120过滤和处理麦克风信号124并组合波束形成输出来实现自适应波束形成。波束形成模块130可用于提取所需信号并根据其空间位置抑制干扰信号。以这种方式，波束形成模块130处理由麦克风阵列120接收的信号，以提取期望的通信、例如讲话乘员30的语音，同时拒绝不需要的信号、例如舱室20中的环境噪声。波束形成器输出(Y)136被转发到声学回波消除器140以进行进一步处理。
在一个或多个示例中，声学回波消除器140被提供有用于扬声器40的输入信号、即扬声器信号152。回波信号可以对应于扬声器信号152。特别地，回波信号可以由扬声器输出。回波信号可以对应于例如免提系统的输出。
声学回波消除器140使用扬声器信号152作为参考信号来对波束形成信号136中的回波信号分量进行建模。例如，声学回波消除器140估计波束形成信号136的信号分量，其对应于回波信号。换句话说，声学回波消除器140通过确定传递函数(R)来模拟扬声器-空间-麦克风系统和波束形成器的串联连接。传递函数可以模拟系统的输入和输出信号之间的关系。特别地，应用于输入信号的传递函数可以产生系统的输出信号。扬声器-舱室-麦克风系统的传递函数可以表示扬声器信号、通过扬声器输出的和通过麦克风经由空间接收的，以及麦克风信号、通过每个麦克风输出的之间的关系。
声学回波消除器140包括回波补偿滤波器或声学回波消除器模块。在一个或多个示例中，回波补偿滤波器可以包括一个或多个有限脉冲响应(FIR)滤波器。用于声学回波消除器140的每组滤波器系数中的滤波器系数的数量取决于所使用的FIR滤波器的顺序、即用于FIR滤波器的滤波器系数的数量。N阶FIR滤波器可以使用(N+1)个滤波器系数。因此，每个或在任意选择的滤波器系数组中的滤波器系数的数量可以取任何大于1的有限值，并且基于舱室20的声学特性。
扬声器-舱室-麦克风系统120和波束形成器130或扬声器-舱室-麦克风-波束形成器系统的串联连接的传递函数可以表示由扬声器40输出的扬声器信号154与波束形成的信号(Y)136之间的关系。传递函数可以基于声学回波消除器140的一个或多个滤波器的滤波器系数Hx和波束形成器滤波器系数Fx，以描述扬声器输入和声学回波消除器输出之间的关系。
例如，声学回波消除器140的传递函数可以表示为回波消除器滤波器系数Hx与波束形成器系数Fx：H1F1+H2F2+...HnFn之间的卷积运算之和。因此，音频处理系统100的输出可以表示为Y＝R(H1F1+H2F2+......HnFn)。本文R是扬声器输入信号152，Fx是波束形成器系数，Y是波束形成输出136，并且Hx表示从波束形成信号Y中去除回波以产生扬声器输出154的声学回波消除器系数。在一个或多个示例中，H1，H2......Hn可以被认为是车辆10的常数并且至少在初始状态下是已知的。此外，F1，F2...Fn是波束形成器系数，并且直到自适应开始初始波束形成器系数也是已知值。当在麦克风信号124中检测到回波时，通过声学回波消除器140自适应地学习H1，H2......Hn中的声学变化。
对于车辆10中的免提电话机或语音识别系统，回波补偿是一项技术挑战。干扰回波可以由信号产生，所述信号例如由同一系统的扬声器40输出并且通过麦克风阵列120的麦克风122与所需信号一起得到检测。例如，在免提电话机的情况下，来自远端的信号由扬声器40在近端输出，在那里它们再次被麦克风122检测到。为了避免这些信号被发送回远端，执行回波补偿或回波消除。用于回波补偿的几种方法和系统是已知的(参见例如，声学回波和噪声控制，E.和G.Schmidt，John Wiley&Sons，纽约，2004年)。
一个或多个示例针对每个麦克风信号使用单独的声学回波消除器、例如声学回波消除器140。该方法产生非常稳健的回波补偿，但计算量很大。特别地，计算成本随着麦克风阵列120中的麦克风122的数量而增加。
本文描述的技术方案，如图1所示，仅使用一个声学回波消除器、例如声学回波消除器140，其在波束形成器130之后操作，即在波束形成信号136上操作。该方法在计算上比使用多个消除器更有效，因为它仅需要一个声学回波消除器，而与麦克风阵列120中的麦克风122的数量无关。
当仅使用一个(即，单个)声学回波消除器对波束形成信号136进行操作时的技术挑战是当波束形成器130从一个方向改变到另一个方向时观察到回波补偿信号154中的残余回波分量。例如，在车辆10中，波束形成器130可以适配并产生不同的波束形成器滤波器系数Fx，因为扬声器(例如乘员31)进行一些运动或者当舱室20中的背景噪声改变时(例如，由于道路的类型/条件等的改变)。基于本文描述的一个或多个实施例，声学回波消除器140不必调节波束形成器系数的变化。传递估计器310(图3)计算相对传递函数，并使用相对传递函数修改滤波器系数声学回波消除器140。
在从第一方向转换到第二方向之后，回波补偿波束形成信号154的信号质量可能因残余回波信号的存在而受损，直到声学回波消除器140已经重新适配第二方向。然而，这可能需要一些时间。
本文描述的技术方案通过促进声学处理系统100预测波束形成器对回波路径的影响来解决这些技术挑战。该预测有助于在波束形成器输出136上使用单个声学回波消除器140而无需导致性能下降的额外计算，或者不使用多个回波消除器-每个麦克风122一个。
图3描绘了根据实现本文描述的技术方案的一个或多个实施例的声学处理系统100的框图。除了在此描述的其他组件(参见图1)之外，声学处理系统100还包括传递函数估计器310。传递函数估计器310接收声学回波消除器140的当前状态以及波束形成器130的滤波器系数(Fx)。在一个或多个示例中，波束形成器130在每次如本文所述那样调节系数时发送波束形成器滤波器系数。作为响应，传递函数估计器310计算相对传递函数E，作为波束形成器滤波器系数更新之后波束形成器130和声学回波消除器140之间的第一传递函数与波束形成器滤波器系数更新之前由于自适应和它们之间的第二传递函数之间的比率。此外，传递函数估计器310使用相对传递函数来修改声学回波消除器140的滤波器系数，以对来自波束形成器输出136的回波进行滤波。例如，修改可以包括执行相对传递函数和声学回波消除器140的滤波器系数的卷积。应注意，可以在其他示例中执行其他修改。
声学回波消除器140不必适配波束形成器130中的变化，并且因此避免了计算上昂贵的重新适配。声学回波消除器140继续适配舱室20的声学变化，例如由于道路状况等的变化。
确定相对传递函数E包括每次调节波束形成器系数时在Hx和Fx之间执行卷积。因此，与重新适配声学回波消除器140相比，相对传递函数E在计算上相对便宜，因为计算E基于波束形成器130提供的已知滤波器系数值Fx以及也是已知的声学回波消除器140的当前状态的滤波器值Hx。
例如，表1描述了在使用声学回波消除器140的当前状态和波束形成器滤波器系数的情况下，计算和使用相对传递函数E来改善声学处理系统100的性能。该表还描绘了在没有实现本文描述的技术方案的情况下可能已经使用的实际传递函数。
表1
随着波束形成器系数改变，传递函数估计器310使用当前的Hx值、当前的Fx值和更新的Fx值来计算相对传递函数E。声学回波消除器140被设置为使用相对传递函数E。此外，声学回波消除器140的滤波器系数在操作过程中适配于H的变化(如果有的话)，并且从相对传递函数E开始。
传递函数估计器310可以由语音控制模块110执行。替代性地或另外地，传递函数估计器310可以是单独的电路，诸如ASIC、FPGA，或从声学处理系统100的一个或多个组件接收输入信号并提供用于声学回波消除器140的相对传递函数作为输出的任何其他硬件组件。
图4描绘了根据一个或多个实施例的使用传递函数估计进行有效回波消除的示例方法的流程图。该方法包括接收由麦克风阵列120捕获的音频信号124，如405所示。接收的音频信号124包括由扬声器40广播的音频信号154，并且因此包括回波分量。音频信号124被提供给波束形成器130，波束形成器130包括一个或多个滤波器模块132，以使用从麦克风阵列120的多个麦克风122接收的音频信号124计算波束形成输出信号，如410所示。在一个或多个示例中，计算波束形成输出信号包括适配波束形成器130的滤波器系数(F)，其中滤波器系数F被更新为F'，如410所示。
该方法还包括向传递函数估计器310通知更新的滤波器系数F'，如420所示。作为响应，传递函数估计器310使用新的波束形成器滤波器系数(F')和当前的声学回波消除器140的滤波器系数(H)来计算相对传递函数(E)，如430所示。在一个或多个示例中，如表1所示计算相对传递函数E。
此外，该方法包括使用相对传递函数E来调节声学回波消除器140的滤波器系数(Hx)，如440所示。例如，通过使用与作为相对传递函数E计算的系数的卷积来调节声学回波消除器140的滤波器系数H。
该方法还包括使用更新的波束形成器滤波器系数(F')来确定波束形成的输出Y，如450所示。例如，通过计算滤波后的系数F'和来自麦克风阵列120的每个麦克风122的信号的卷积之和来确定输出Y。输出Y然后用作声学回波消除器140的输入，其使用相对传递函数E来确定波束形成信号Y中的回波分量，并使滤波器系数H适配于更新的值H'，以便减少或消除来自扬声器40的音频输出154的回波分量，如460所示。
因此，本文描述的技术方案有助于改进声学处理系统。本文描述的技术方案有助于系统的改进，而不管系统使用的波束形成算法的类型如何。例如，波束形成可以是MVDR类型，其中滤波器系数随时间变化以适配于舱室中的不同噪声条件，例如在车辆中。本文描述的技术方案改进了系统的性能，因为系统不再必须依赖和/或等待声学回波消除器适配于也包括波束形成器响应的新的回波路径。本文描述的技术方案有助于使用波束形成器的更新的滤波器系数来计算相对传递函数。相对传递函数可以基本上立即用作声学回波消除器的传递函数，并且然后消除器可以收敛以更新滤波器系数以对回波分量进行建模。因此，本文描述的技术方案有助于改进典型解决方案，其中声学处理系统必须等待从声学回波消除器反馈新响应，因为系统必须等待声学回波消除器在传递函数可以被更新之前收敛。
本文描述的技术方案进一步改善了声学处理系统的计算能力使用。如本文所述，技术方案有助于使用单个声学回波消除器，其在波束形成器的输出上操作，而与麦克风阵列中的多个麦克风无关。与多个回波消除器相比，单个回波消除器的使用减少了所使用的计算资源，每个麦克风带有一个回波消除器，并且添加到麦克风阵列的每个麦克风的计算资源的线性增加。此外，与等待声学回波消除器收敛的典型声学处理系统相比，本文描述的技术解决方案使用较少的计算资源，因为适配声学回波消除器涉及使用计算能力大于如本文所述的相对传递函数的计算来求解更多的复杂方程组(例如，矩阵求逆)。此外，通过不必等待声学回波消除器收敛，与典型的声学处理系统相比，本文描述的技术方案有助于更快的操作。
因此，本文描述的技术方案通过对典型实施方式的改进来促进声学回波消除。
虽然已经参考示例性实施例描述了以上公开，但是本领域技术人员将理解，在不脱离其范围的情况下，可以进行各种改变并且可以用等同物替换其元件。另外，在不脱离本发明的实质范围的情况下，可以进行许多修改以使特定情况或材料适配于本发明的教导。因此，意图是本发明不限于所公开的特定实施例，而是将包括落入其范围内的所有实施例。

Claims (10)

1.一种用于声学回波消除的方法，所述方法包括：
通过波束形成器计算多个更新的波束形成器滤波器系数，自适应地计算所述波束形成器滤波器系数以从多个输入音频信号中确定语音信号；
通过传递函数估计器基于所述更新的波束形成器滤波器系数和多个当前的声学回波消除器系数来计算相对传递函数；
使用所述相对传递函数调节多个声学回波消除器系数，并通过所述声学回波消除器，通过使用调节后的滤波器系数从所述语音信号中消除回波分量，产生输出语音信号；并且
通过所述声学回波消除器将所述输出语音信号发送到远端语音设备。
2.根据权利要求1所述的方法，其中，所述相对传递函数被计算为E＝(H1*F'1+H2*F'2+...Hn*F’n)/(H1*F1+H2*F2+...Hn*Fn)，其中Hi是当前的所述多个声学回波消除器系数、Fi是当前的多个波束形成器滤波器系数、F'i是所述多个更新的波束形成器滤波器系数，并且e是所述相对传递函数。
3.根据权利要求1所述的方法，还包括：
通过所述声学回波消除器基于舱室声学的变化将所述调节后的声学回波消除器系数适配于更新的声学回波消除器系数。
4.根据权利要求1所述的方法，其中通过执行所述声学回波消除器系数和所述相对传递函数的卷积来修改所述声学回波消除器系数。
5.根据权利要求1所述的方法，其中，从包括多个麦克风的麦克风阵列接收所述输入音频信号。
6.根据权利要求5所述的方法，其中，使用单个声学回波消除器，而不管所述麦克风阵列中的多个麦克风。
7.根据权利要求1所述的方法，其中所述输出语音信号包括用于所述远端语音设备的命令。
8.一种车辆信息娱乐系统，包括：
麦克风阵列，其包括位于车辆的舱室内的多个麦克风；
扬声器，其配置为广播输出音频信号；以及
声学回波消除(AEC)系统，其被配置为从通过所述麦克风阵列接收的多个输入音频信号中消除所述输出音频信号的声学回波，该AEC系统包括：
波束形成器，其被配置为计算多个更新的波束形成器滤波器系数，所述波束形成器滤波器系数被自适应地计算以从所述输入音频信号确定语音信号；
传递函数估计器，其被配置为基于所述更新的波束形成器滤波器系数和多个当前的声学回波消除器系数来计算相对传递函数；以及
声学回波消除器，其中使用所述相对传递函数调节多个声学回波消除器系数，所述声学回波消除器被配置为通过使用所述调节的回波消除器系数从所述语音信号中消除回波分量来产生所述输出音频信号。
9.根据权利要求8所述的车辆信息娱乐系统，其中，所述相对传递函数被计算为E＝(H1*F'1+H2*F'2+...Hn*F’n)/(H1*F1+H2*F2+...Hn*Fn)，其中Hi是所述多个声学回波消除器系数，Fi是多个当前的波束形成器滤波器系数，F'i是所述多个更新的波束形成器滤波器系数，并且e是所述相对传递函数。
10.根据权利要求8所述的车辆信息娱乐系统，其中，所述波束形成器包括多个滤波器模块，每个滤波器模块对应于来自所述麦克风阵列的所述多个麦克风中的麦克风。
CN201811228970.1A 2017-11-01 2018-10-22 使用传递函数估计的有效回波消除 Active CN109756822B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/800523 2017-11-01
US15/800,523 US10090000B1 (en) 2017-11-01 2017-11-01 Efficient echo cancellation using transfer function estimation

Publications (2)

Publication Number Publication Date
CN109756822A true CN109756822A (zh) 2019-05-14
CN109756822B CN109756822B (zh) 2021-04-06

Family

ID=63638761

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811228970.1A Active CN109756822B (zh) 2017-11-01 2018-10-22 使用传递函数估计的有效回波消除

Country Status (3)

Country Link
US (1) US10090000B1 (zh)
CN (1) CN109756822B (zh)
DE (1) DE102018127229B4 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113194378A (zh) * 2021-06-30 2021-07-30 深圳市汇顶科技股份有限公司 音频信号的降噪方法、音频信号处理装置及电子设备
CN114175606A (zh) * 2019-06-17 2022-03-11 伯斯有限公司 模块化回波消除单元
US11711649B2 (en) 2021-06-30 2023-07-25 Shenzhen GOODIX Technology Co., Ltd. Method for audio signal noise cancellation, apparatus for audio signal processing, and electronic device

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10679617B2 (en) * 2017-12-06 2020-06-09 Synaptics Incorporated Voice enhancement in audio signals through modified generalized eigenvalue beamformer
CN113168840A (zh) * 2018-11-30 2021-07-23 松下知识产权经营株式会社 翻译装置以及翻译方法
JP7407580B2 (ja) 2018-12-06 2024-01-04 シナプティクス インコーポレイテッド システム、及び、方法
WO2020121545A1 (ja) * 2018-12-14 2020-06-18 日本電信電話株式会社 信号処理装置、信号処理方法、およびプログラム
US20200211553A1 (en) * 2018-12-28 2020-07-02 Harman International Industries, Incorporated Two-way in-vehicle virtual personal assistant
CN110265054B (zh) * 2019-06-14 2024-01-30 深圳市腾讯网域计算机网络有限公司 语音信号处理方法、装置、计算机可读存储介质和计算机设备
CN110364174A (zh) * 2019-07-18 2019-10-22 申瓯通信设备有限公司 一种回声消除系统及回音消除方法
US11064294B1 (en) 2020-01-10 2021-07-13 Synaptics Incorporated Multiple-source tracking and voice activity detections for planar microphone arrays
WO2021226507A1 (en) 2020-05-08 2021-11-11 Nuance Communications, Inc. System and method for data augmentation for multi-microphone signal processing
US11823707B2 (en) 2022-01-10 2023-11-21 Synaptics Incorporated Sensitivity mode for an audio spotting system

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1750573A (zh) * 2004-09-03 2006-03-22 哈曼贝克自动系统股份有限公司 采用组合的噪声减少和回波补偿的语音信号处理
CN1946105A (zh) * 2006-10-27 2007-04-11 华南理工大学 基于语音信号分离模型的立体声回波消除方法及其系统
WO2010001508A1 (ja) * 2008-07-02 2010-01-07 パナソニック株式会社 音声信号処理装置
CN103428385A (zh) * 2012-05-11 2013-12-04 英特尔移动通信有限责任公司 用于处理音频信号的方法及用于处理音频信号的电路布置
CN103444094A (zh) * 2011-05-10 2013-12-11 三菱电机株式会社 自适应均衡器、声学回波消除器装置以及有源噪声控制装置
CN103780998A (zh) * 2012-10-23 2014-05-07 韩国电子通信研究院 消除声学回波的方法和设备、与自适应滤波系数更新方法
CN104810021A (zh) * 2015-05-11 2015-07-29 百度在线网络技术（北京）有限公司 应用于远场识别的前处理方法和装置
CN105635501A (zh) * 2014-11-20 2016-06-01 通用汽车环球科技运作有限责任公司 用于回声消除的系统和方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2792311B2 (ja) * 1992-01-31 1998-09-03 日本電気株式会社 多チャンネルエコー除去方法および装置
ATE370608T1 (de) * 2000-05-26 2007-09-15 Koninkl Philips Electronics Nv Verfahren und gerät zur akustischen echounterdrückung mit adaptiver strahlbildung
DE60120233D1 (de) * 2001-06-11 2006-07-06 Lear Automotive Eeds Spain Verfahren und system zum unterdrücken von echos und geräuschen in umgebungen unter variablen akustischen und stark rückgekoppelten bedingungen
JP3506138B2 (ja) * 2001-07-11 2004-03-15 ヤマハ株式会社 複数チャンネルエコーキャンセル方法、複数チャンネル音声伝送方法、ステレオエコーキャンセラ、ステレオ音声伝送装置および伝達関数演算装置
DE602005003643T2 (de) * 2005-04-01 2008-11-13 Mitel Networks Corporation, Ottawa Verfahren zur Beschleunigung des Trainings eines akustischen Echokompensators in einem Vollduplexaudiokonferenzsystem durch akustische Strahlbildung
EP1722545B1 (en) * 2005-05-09 2008-08-13 Mitel Networks Corporation A method and a system to reduce training time of an acoustic echo canceller in a full-duplex beamforming-based audio conferencing system
US8385557B2 (en) * 2008-06-19 2013-02-26 Microsoft Corporation Multichannel acoustic echo reduction
EP2222091B1 (en) * 2009-02-23 2013-04-24 Nuance Communications, Inc. Method for determining a set of filter coefficients for an acoustic echo compensation means
US9319783B1 (en) * 2014-02-19 2016-04-19 Amazon Technologies, Inc. Attenuation of output audio based on residual echo

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1750573A (zh) * 2004-09-03 2006-03-22 哈曼贝克自动系统股份有限公司 采用组合的噪声减少和回波补偿的语音信号处理
CN1946105A (zh) * 2006-10-27 2007-04-11 华南理工大学 基于语音信号分离模型的立体声回波消除方法及其系统
WO2010001508A1 (ja) * 2008-07-02 2010-01-07 パナソニック株式会社 音声信号処理装置
CN103444094A (zh) * 2011-05-10 2013-12-11 三菱电机株式会社 自适应均衡器、声学回波消除器装置以及有源噪声控制装置
CN103428385A (zh) * 2012-05-11 2013-12-04 英特尔移动通信有限责任公司 用于处理音频信号的方法及用于处理音频信号的电路布置
CN103780998A (zh) * 2012-10-23 2014-05-07 韩国电子通信研究院 消除声学回波的方法和设备、与自适应滤波系数更新方法
CN105635501A (zh) * 2014-11-20 2016-06-01 通用汽车环球科技运作有限责任公司 用于回声消除的系统和方法
CN104810021A (zh) * 2015-05-11 2015-07-29 百度在线网络技术（北京）有限公司 应用于远场识别的前处理方法和装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114175606A (zh) * 2019-06-17 2022-03-11 伯斯有限公司 模块化回波消除单元
CN114175606B (zh) * 2019-06-17 2024-02-06 伯斯有限公司 模块化回波消除单元
CN113194378A (zh) * 2021-06-30 2021-07-30 深圳市汇顶科技股份有限公司 音频信号的降噪方法、音频信号处理装置及电子设备
CN113194378B (zh) * 2021-06-30 2021-11-26 深圳市汇顶科技股份有限公司 音频信号的降噪方法、音频信号处理装置及电子设备
US11711649B2 (en) 2021-06-30 2023-07-25 Shenzhen GOODIX Technology Co., Ltd. Method for audio signal noise cancellation, apparatus for audio signal processing, and electronic device

Also Published As

Publication number Publication date
DE102018127229A1 (de) 2019-05-02
DE102018127229B4 (de) 2023-07-13
CN109756822B (zh) 2021-04-06
US10090000B1 (en) 2018-10-02

Similar Documents

Publication Publication Date Title
CN109756822A (zh) 使用传递函数估计的有效回波消除
US9966059B1 (en) Reconfigurale fixed beam former using given microphone array
EP2222091B1 (en) Method for determining a set of filter coefficients for an acoustic echo compensation means
KR101103794B1 (ko) 멀티 빔 음향시스템
CN1750573B (zh) 采用组合的噪声减少和回波补偿的语音信号处理
US6496581B1 (en) Coupled acoustic echo cancellation system
EP1879180B1 (en) Reduction of background noise in hands-free systems
EP3312839B1 (en) Device for assisting two-way conversation and method for assisting two-way conversation
JP5148150B2 (ja) 音響信号処理における均等化
CN105635501A (zh) 用于回声消除的系统和方法
US8175290B2 (en) Feedback reduction system
CN105592384A (zh) 用于控制车内噪声的系统和方法
US20080031468A1 (en) System for improving communication in a room
JP2007235943A (ja) 音声信号取得のためのハンドフリーシステム
WO2002069611A1 (en) Dve system with customized equalization
JP2002502193A (ja) 適応型ビーム形成器用キャリブレーション信号の生成
US20200372926A1 (en) Acoustical in-cabin noise cancellation system for far-end telecommunications
JP7312180B2 (ja) 遠端電気通信のための車室内音響雑音消去システム
CN112673420B (zh) 静音区产生
EP1538867A1 (en) Handsfree system for use in a vehicle
US10129410B2 (en) Echo canceller device and echo cancel method
JP5383008B2 (ja) 音声明瞭度改善システム及び音声明瞭度改善方法
CN116825072A (zh) 主动降噪系统、主动降噪方法和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant