CN103117064A - 处理信号 - Google Patents

处理信号 Download PDF

Info

Publication number
CN103117064A
CN103117064A CN2012103678883A CN201210367888A CN103117064A CN 103117064 A CN103117064 A CN 103117064A CN 2012103678883 A CN2012103678883 A CN 2012103678883A CN 201210367888 A CN201210367888 A CN 201210367888A CN 103117064 A CN103117064 A CN 103117064A
Authority
CN
China
Prior art keywords
signal
beam forming
receives
forming device
arrival direction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012103678883A
Other languages
English (en)
Other versions
CN103117064B (zh
Inventor
K.索伦森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Skype Ltd Ireland
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Skype Ltd Ireland filed Critical Skype Ltd Ireland
Publication of CN103117064A publication Critical patent/CN103117064A/zh
Application granted granted Critical
Publication of CN103117064B publication Critical patent/CN103117064B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/02—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using radio waves
    • G01S3/14—Systems for determining direction or deviation from predetermined direction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/801—Details
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802—Systems for determining direction or deviation from predetermined direction
    • G01S3/805—Systems for determining direction or deviation from predetermined direction using adjustment of real or effective orientation of directivity characteristics of a transducer or transducer system to give a desired condition of signal derived from that transducer or transducer system, e.g. to give a maximum or minimum signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/86—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves with means for eliminating undesired waves, e.g. disturbing noises
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/18—Methods or devices for transmitting, conducting or directing sound
    • G10K11/26—Sound-focusing or directing, e.g. scanning
    • G10K11/34—Sound-focusing or directing, e.g. scanning using electrical steering of transducer arrays, e.g. beam steering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's

Abstract

公开了一种用于在设备中处理信号的方法、设备和计算机程序产品。在设备的输入装置中，信号在一角度范围上接收，信号包括在到达输入装置的主到达方向接收到的主要信号和在到达输入装置的相应的至少一个干扰到达方向接收到的至少一个干扰信号。为所述角度范围上接收到的信号确定多个测量值，每个测量值涉及特定的角度，并指示从该特定角度接收到的接收信号的能量。对于所述角度范围内的每个角度，从用于那个角度的测量值中移除一个值，该值基于以下各项中的最小值：（i）用于那个角度的测量值的能量，和（ii）用于围绕主到达方向镜像的相对应角度的相对应测量值的能量，其中多个测量值中的剩余值指示所述至少一个干扰到达方向。

Description

处理信号
技术领域
本发明涉及处理在设备中接收到的信号。
背景技术
设备可具有可被用来从周围环境接收传输的信号的输入装置。例如，设备可具有诸如麦克风的音频输入装置，其可被用来从周围环境接收音频信号。例如，用户设备的麦克风可接收主要音频信号（诸如来自用户的语音）和其他音频信号。其他音频信号可以是在设备的麦克风接收到的干扰音频信号，可以是从干扰源接收到的或者可以是环境背景噪声或麦克风的自身噪声。干扰音频信号可扰乱在设备中接收到的主要音频信号。设备可出于许多不同的目的而使用接收到的音频信号。例如，在接收到的音频信号是从用户处接收到的语音信号的情形下，设备可处理语音信号以将其用于通信事件，例如，通过网络传输语音信号到与通信事件的另一个用户相关联的另一个设备。可替换地，或附加地，接收到的音频信号可被用于本领域公知的其他目的。
在其他例子中，设备可具有用于接收其他类型的传输信号（诸如一般宽带信号、一般窄带信号、雷达信号、声纳信号、天线信号、无线电波或微波）的接收装置。对于这些其他类型的传输信号也会发生同样的情况，其中在接收装置中接收主要信号和干扰信号。以下所提供的描述主要涉及在设备中对音频信号的接收，但是相同的原理将适用于设备中对其他类型的传输信号（诸如以上所述的一般宽带信号、一般窄带信号、雷达信号、声纳信号、天线信号、无线电波和微波）的接收。
为了提高接收到的音频信号（例如从用户处接收到的用于在呼叫中使用的语音信号）的质量，希望抑制在用户设备的麦克风中接收到的干扰音频信号（例如背景噪声和从干扰音频源接收到的干扰音频信号）。
其中多个麦克风操作为单个音频输入装置的立体声麦克风和其他麦克风阵列的使用已经变得越来越普遍。在设备上使用多个麦克风使得除了能够使用从由单个麦克风接收到的音频信号提取出的信息之外，还能够使用从接收到的音频信号中提取出的空间信息。当使用这样的设备时，一种用于抑制干扰音频信号的方法是应用波束成型器（beamformer）到由多个麦克风接收到的音频信号。波束成型是通过应用信号处理来聚焦由麦克风阵列接收到的音频信号的处理，从而增强麦克风阵列中从一个或多个期望方向接收到的特定音频信号。出于简明的目的，此处我们将描述仅有单个期望方向的情况，但是相同的方法也可应用到具有多个感兴趣方向的情况。在波束成型处理之前可以确定或设置被称为到达方向（Direction of Arrival（DOA））的信息，也就是麦克风阵列中接收期望的音频信号的角度。将期望的到达方向设置为固定的是有益的，这是因为到达方向的估计可能很复杂。然而，在可替换的情况中，使期望的到达方向适应变化的条件是有益的，所以在使用波束成型器时实时估计期望的到达方向也是有益的。自适应波束成型器应用波束成型器系数到接收到的音频信号，由此他们使用DOA信息来处理由多个麦克风接收到的音频信号以形成“波束”，从而高增益被应用到麦克风接收到期望的音频信号的方向，而低增益被应用到任何干扰源的方向。
当波束成型器试图抑制来自不希望的方向的不希望的音频信号时，麦克风的数量以及麦克风阵列的外形和大小将限制波束成型器的效果，因此虽然抑制了不希望的音频信号，但是不希望的音频信号还是可听见的。可在设备中通过与处理来自单个麦克风的接收到的音频信号的相同的方式进一步处理波束成型器的输出，例如以便作为通信事件的一部分传输到另一个设备。例如，波束成型器的输出可作为输入信号提供到设备中的回声消除阶段（echo cancellation stage）、自动增益控制（AGC）处理阶段和单通道噪声降低阶段中的至少一个。
确定与来自特定干扰源的特定干扰音频信号相关的特定的到达麦克风的方向可能是有用的。接着可能是有益的是，适配波束成型器的波束成型器系数以向从已知干扰的特定方向（例如干扰到达方向）接收到的音频信号应用更高等级的抑制。通过这种方式，可以降低对主要（或者期望的）音频信号的干扰。
可通过计算输入音频信号之间的互协方差（cross-covariance）来确定用于干扰源的到达方向，从而确定音频信号的到达方向。互协方差指示多个麦克风中接收到的音频信号最高度相关的到达方向。
发明内容
发明人认识到使用现有技术中的互协方差方法，其中在麦克风中接收多个音频信号，对于在接收时具有微弱功率的音频信号，更强的信号能支配互协方差的计算，因此可能无法成功地计算出微弱音频信号的到达方向。例如，当主扬声器（也就是期望的音频信号源）活动时，同时麦克风中接收到来自干扰源的音频信号，接着这个信号和麦克风阵列的瑕疵将支配互协方差方法，因为主要扬声器的功率支配互协方差估计。发明人进一步认识到仅仅当期望的音频信号源活动时才可能产生一些类型的干扰音频信号。例如，在干扰音频信号是来自主扬声器的语音回响的情形下，根据定义只有当扬声器活动时才会产生该干扰音频信号，在这种情况下，用于计算语音回响的到达方向的互协方差方法执行不佳，这是因为来自主扬声器的主要音频信号支配麦克风中接收到的音频信号的功率。
本发明的实施方式提供一种用于不使用以上所描述的现有技术中的互协方差方法而确定干扰音频信号到达设备的干扰到达方向的方法和设备，即使当主要音频信号的功率大于设备中接收到的干扰音频信号的功率时，该方法和设备也可指示干扰音频信号的干扰方向。
根据本发明的第一个方面，提供了一种处理设备中的信号的方法，该方法包括：在设备的输入装置中接收一角度范围的信号，信号包括在到达输入装置的主到达方向接收到的主要信号和在到达输入装置的相应的至少一个干扰到达方向接收到的至少一个干扰信号；为所述角度范围的接收信号确定多个测量值（measurement），每个测量值涉及特定角度，并指示从特定角度接收到的接收信号的能量；以及对于所述角度范围内的每个角度，基于如下各项中的最小值从用于那个角度的测量值中移除一个值：（i）用于那个角度的测量值，和（ii）用于围绕主到达方向镜像的相对应角度的相对应测量值，其中多个测量值的剩余值指示所述至少一个干扰到达方向。
测量值提供在特定方向的接收到的信号的能量的指示。因此测量值可被用来指示设备中接收到比其他方向更大能量的方向。在优选的实施方式中，确定多个测量值的步骤包括确定当在所述角度范围上操纵（steer）时被应用到接收的信号的波束成型装置的波束成型器输出能量的范围，从用于所述角度范围内的每个角度的测量值中移除值的步骤包括基于如下各项中的最小值从用于那个角度的波束成型器输出能量中移除一个值：（i）用于那个角度的波束成型器输出的能量；（ii）用于围绕主到达方向镜像的相对应角度的相对应的波束成型器输出的能量，其中多个波束成型器输出的剩余值指示所述至少一个干扰到达方向。在其他实施方式中，可以使用其他测量值（波束成型器输出能量之外）来指示设备中从不同方向接收的能量。例如，测量值可以是指示接收到的信号之间作为接收到的信号的到达角度的函数的相关性的相关性测量值。
在优选实施方式中，所述信号是音频信号，但在其他实施方式中，所述信号可以是其他类型的传输信号（诸如一般宽带信号、一般窄带信号、雷达信号、声纳信号、天线信号、无线电波或微波）。
发明者认识到如果没有干扰信号，即在具有无穷大信噪比（SNR）的理论环境中，输入装置首先将接收到从期望源方向接收的主要信号，在确定多个波束成型器输出后，波束成型器输出的能量将围绕主到达方向对称地展开，如果应用的波束成型器具有对称的波束图案（beampattern）的话。会发生这样的情况部分是由于麦克风的瑕疵，更重要的是由于输入信号作为平面波到达的波束成型器假设，这是因为波束成型装置不会将全部衰减应用到它们操纵朝向的方向以外的其他方向。具体而言，主波瓣的宽度将导致靠近干扰源的角度还指示因该干扰源而产生的干扰。因此期望的信号源将对称地存在于多个波束成型器输出能量中。设备的输入装置中接收到的信号的多个波束成型器输出能量的不对称指示从远离主要信号的主到达方向的特定方向接收到的干扰信号。有利的是，本发明的优选实施方式从波束成型器输出能量中移除对称组分（symmetric contribution），使得剩余值强调设备中接收到的信号的不对称。该方式强调干扰信号的干扰到达方向。在从波束成型器输出能量中移除对称组分之后，在波束成型器输出能量中的剩余值对于从中接收到干扰信号的方向来说较高。
本发明的实施方式有效地在以下两种情况中使用，当主要信号支配接收到的信号时的情况（也就是当主要信号具有接收到的信号的最高功率时），以及当主要信号没有支配接收到的信号的情况（也就是当主要信号不具有接收到的信号的最高功率时）。这是因为主要信号将向波束成型器输出能量提供对称组分，因此根据本发明的实施方式的方法将其移除，以使得剩余波束成型器输出的值仅包括干扰信号。然而，使用互协方差方法的现有技术系统在主要信号支配接收到的信号时执行特别差。因此本发明的实施方式特别适用于指示当主要信号支配接收到的信号时的干扰到达方向。
根据本发明的第二个方面，提供了一种用于处理信号的设备，该设备包括：用于在一角度范围内接收信号的输入装置，信号包括从到达音频输入装置的主到达方向接收的主要信号以及从到达输入装置的相应的至少一个干扰到达方向接收的至少一个干扰信号；用于为所述角度范围的接收信号确定多个测量值的确定装置，每个测量值涉及特定角度，并指示从特定角度接收到的接收信号的能量；和移除装置，用于对于所述角度范围内的每个角度，基于如下各项中的最小值从用于那个角度的测量值中移除一个值：（i）用于那个角度的测量值，和（ii）用于围绕主到达方向镜像的相对应角度的相对应测量值，其中多个测量值的剩余值指示所述至少一个干扰到达方向。
根据本发明的第三个方面，提供了一种用于处理在设备的输入装置中在一角度范围内接收到的信号的计算机程序产品，信号包括从到达输入装置的主到达方向接收的主要信号以及从到达输入装置的相应的至少一个干扰到达方向接收的至少一个干扰信号；计算机程序产品被包含在非易失性计算机可读媒介上，并且其被配置为当在设备的处理器上执行时执行以下步骤：为一角度范围的接收信号确定多个测量值，每个测量值涉及特定角度，并指示从特定角度接收到的接收信号的能量。对于所述角度范围内的每个角度，基于以下各项中的最小值从用于那个角度的测量值中移除一个值：（i）用于那个角度的测量值，和（ii）用于围绕主到达方向镜像的相对应角度的相对应测量值，其中多个测量值的剩余值指示所述至少一个干扰到达方向。
在优选的实施方式中，该方法进一步包括抑制在所述测量值的剩余值指示的至少一个干扰到达方向接收到的信号。该方法可进一步包括通过分析接收到的信号来确定主到达方向。该方法可进一步包括设置所述角度范围以使得主到达方向处于所述角度范围的中间。
在优选实施方式中，输入装置包括用于接收信号（例如音频信号）的多个传感器（例如麦克风），该方法进一步包括使用主要波束成型器以应用波束成型器系数到接收到的信号，从而对在至少一个干扰到达方向接收到的信号应用比在主到达方向接收到的信号更高级别的抑制。
在一些实施方式中，根据主要信号具有接收到的信号的最高功率的确定而执行移除步骤。设备可以是电视机或计算机。用于计算来自多个角度的输出能量的波束成型装置可包括延迟并相加（delay-and-add）波束成型器，以及随后被用来抑制干扰源的主要波束成型器可包括最小方差无失真响应波束成型器。
附图说明
为了更好地理解本发明以及为了显示本发明如何实施，将通过示例方式参考以下附图，其中：
图1显示根据优选实施方式的设备的示意图；
图2显示根据优选实施方式的系统；
图3显示根据优选实施方式的设备的元件的功能框图；
图4是根据优选实施方式处理音频信号的过程的流程图；
图5a是作为到达方向的函数的延迟并相加波束成型器输出能量的第一示图；
图5b是在移除了对称部分后的作为到达方向的函数的延迟并相加波束成型器输出能量的第二示图；
图6a是作为到达方向的函数的延迟并相加波束成型器输出能量的第三示图；
图6b是在移除了对称部分后的作为到达方向的函数的延迟并相加波束成型器输出能量的第四示图；
图7显示代表在一个实施方式中如何估计到达方向信息的图示。
具体实施方式
以下将仅以示例的方式描述本发明的优选实施方式。
在本发明的以下实施方式中，描述了一些技术，其中将指示各个干扰信号的干扰到达方向。可以考虑所指示的干扰到达方向而适配波束成型器的系数，从而抑制干扰信号。以下所描述的实施方式涉及信号是音频信号的情况。然而，其他实施方式涉及信号是其他类型的传输信号（诸如一般宽带信号、一般窄带信号、雷达信号、声纳信号、天线信号、无线电波或微波）的情况。当以比主要（或期望的）音频信号更低的功率接收到干扰音频信号时，这些技术尤其工作良好。一种确定音频信号的到达方向的技术在多个不同方向上使用延迟并相加波束成型器，并选择在输出中具有最大能量的方向作为最活跃源（most active source）的方向。该方法可与语音活动检测器相组合以搜寻期望的扬声器的方向，可以预先操控波束成型器面对所述方向。
首先参见图1，其示出了设备102的示意图。设备102可以是固定或移动设备。设备102包括CPU 104，连接到CPU 104的有用于接收音频信号的麦克风阵列106、用于输出音频信号的扬声器110、用于向设备102的用户输出可视数据的诸如屏幕的显示器112以及用于存储数据的存储器114。
现在参见图2，其示出了设备102在其中操作的示例环境200。
设备102的麦克风阵列106从环境200接收音频信号。例如，如图2所示，麦克风阵列106接收来自用户202的音频信号（图2中标示为d1）、来自另一个用户204的音频信号（图2中标示为d2）、来自风扇206的音频信号（图2中标示为d3）和来自墙208反射的用户202的音频信号（图2中标示为d4）。本领域技术人员清楚，麦克风阵列106还可接收除了图2所示的音频信号之外的其他音频信号，例如麦克风自身噪音。在如图2所示的场景中，直接从用户202到达的音频信号是期望的音频信号，麦克风阵列106中接收到的所有其他音频信号都是干扰音频信号。当用户202说话时从墙反射的信号增加回响到由麦克风阵列106记录的信号。在其他实施方式中，麦克风阵列106中接收到的超过一个的音频信号可以被认为是“期望的”音频信号，但是出于简明的目的，在此处描述的实施方式中，仅有一个期望的音频信号（也就是来自用户202的音频信号），其他音频信号都被认为是干扰。图2显示了作为干扰源的另一个用户204、风扇206或来自墙208的反射。其他不希望的噪声信号源可包括例如空调系统和播放音乐的设备。
当在麦克风阵列106接收到音频信号后对其进行处理时识别期望的音频信号。在处理期间，基于语音类特征的检测而识别期望的音频信号，并且确定主扬声器的主方向。图2显示了从主方向d1到达麦克风阵列106的作为期望的音频信号源的主扬声器（用户202）。
现在参见图3，其示出了设备102的元件的功能表示。麦克风阵列106包括多个麦克风3021、3022和3023。设备102进一步包括到达方向（DOA）估计块303、波束成型器304和处理装置306。可以以在CPU104上执行的软件方式实现或以在设备102内的硬件方式来实现DOA估计块303、波束成型器304和处理装置306。麦克风阵列106中的每个麦克风的输出耦合到DOA估计块303的相应输入。将来自麦克风的输出从DOA估计块303传递到波束成型器304。本领域技术人员将明了需要多个输入以实现波束成型。图3中所示的麦克风阵列106具有三个麦克风（3021、3022和3023），但是将理解的是这些数量的麦克风仅是示例，并不以任何方式作为限制。
DOA估计块303和波束成型器304包括用于从麦克风阵列106的麦克风接收并处理音频信号的装置。例如，DOA估计块303可包括语音活动检测器（VAD）。在操作中，波束成型器304确定由麦克风阵列106接收到的音频信号的特性，并且基于由VAD和DOA估计块303执行的语音类质量检测，主扬声器的一个或多个主方向被确定。在其他实施方式中，可预先设置主扬声器的主方向以供波束成型器304使用，以使得波束成型器304聚焦到固定方向。在图2所示的例子中，从用户202接收到的音频信号（d1）的方向被确定为主方向。波束成型器304使用DOA信息以通过形成在麦克风阵列106中接收到期望信号的主方向（d1）上具有高增益，而在干扰源方向上具有低增益的波束而处理音频信号。如果波束成型器304知道干扰到达方向（d2、d3和d4），那么可向从那些干扰到达方向接收到的音频信号应用特别低的增益，从而更好地抑制干扰音频信号。尽管以上已描述了波束成型器304可确定任意数量的主方向，但是所确定的主方向的数量影响波束成型器的特性，例如，对于大量的主方向，波束成型器304将能够应用比仅仅确定了单个主方向的情形更少的衰减在麦克风阵列中从其他（不希望的）方向接收到的信号上。将波束成型器304的输出以将要处理的单个通道的形式提供到设备102的其他处理装置。当然输出超过一个通道也是有可能的，例如为了维持或虚拟地生成立体图像。本领域技术人员将明了在设备102中可通过多种不同方式来使用波束成型器304的输出。例如，波束成型器304的输出可被用作用户202使用设备102正在参与的通信事件的一部分。
波束成型器304的输出可遭受进一步的信号处理（诸如自动增益控制、噪声抑制和/或回声消除）。这些进一步的信号处理的细节超出了本发明的范围，因此在此处没有给出进一步的信号处理的详情，但是本领域技术人员可意识到可以在设备102中处理波束成型器304的输出的多种方式。
波束成型器304的输出被传递到处理装置306。处理装置306可以分析来自波束成型器304的输出并控制波束成型器304，从而适配由波束成型器304应用到从麦克风阵列106的麦克风3021、3022和3023接收到的音频信号的波束成型器系数。
如果在环境200中不存在干扰，从而由麦克风阵列106接收到的唯一音频信号是来自用户202的期望的音频信号，那么麦克风阵列106中接收到的音频信号的能量分布在以期望信号的方向为中心的在一个角度范围内将会是对称的。因此，没有干扰的话，当以相对于期望麦克风的主方向的特定角度接收时，主方向所创建的音频信号的能量将等于具有相对应角度但是处于期望麦克风的主方向的相对侧（也就是围绕主到达方向镜像的角度）的相对应的音频信号的能量。这意味着，没有干扰的话，因为输入音频信号以及所应用的波束成型器的完美对称性，延迟并相加波束成型器的输出在特定角度和镜像角度中具有相同能量。这意味着如果完全没有干扰源，波束成型器304的输出在一个角度范围内的空间能量分布将围绕主到达方向对称。
在本发明的实施方式中，通过在所有角度从波束成型器输出能量中减去来自该角度本身的能量和围绕期望的扬声器的主方向镜像的能量中的最小值而移除波束成型器输出能量在所述角度范围内的空间对称组分。利用在任何环境（例如环境200）中通常可见的完美对称性的缺失来确定干扰音频信号的方向。有利的是，在减法之后的剩余波束成型器输出能量的值清楚地识别麦克风阵列106中接收到的干扰音频信号的方向。例如，干扰音频信号可以是导致回响的反射（例如图2中标示为d4的墙208的反射），或者可以是来自与期望的扬声器202空间分离的其他噪声源（例如用户204和风扇206）的任何其他干扰音频信号。尽管本发明的实施方式确实有助于指示这些其他干扰音频信号（例如用户204和风扇206）的方向，但是他们特别有助于确定回响（诸如来自墙208的音频信号）的主要贡献来源（contributor）的方向，这是因为使用其他方式这个干扰音频信号（d4）很难（例如使用以上所述的互协方差方法）来识别，因为来自用户202的语音的更高能量在从扬声器202到麦克风阵列106的主要/直接路径（d1）上来回移动（traverse）。
参见图4，现在描述根据优选实施方式的处理音频信号的方法。在步骤S402，在麦克风阵列106的麦克风（3021、3022和3023）中接收音频信号。例如，从如图2所示的用户202、用户204、风扇206和墙208接收音频信号。麦克风阵列106的麦克风（3021、3022和3023）中还可接收到诸如背景噪声的其他干扰音频信号。由麦克风阵列106的每个麦克风（3021、3022和3023）接收到的音频信号被传递到波束成型器304。
在步骤S404，确定来自用户202的期望的音频信号的主到达方向。可通过分析音频信号以确定语音信号具有最强相关性的角度而实现步骤S404的操作，以下参照图7对其进行更详细的描述。
在步骤S406，处理装置306确定来自波束成型器304的波束成型器输出，因为波束成型器是在所述角度范围内操纵的。通过这样的方式，处理装置306可从接收到的音频信号中提取空间信息，并且可以确定波束成型器输出的能量如何随着角度变化。显示波束成型器输出的能量如何作为角度的函数而变化的图示的示例在图5a和图6a中显示，以下将对其进行详细描述。处理装置306可在所述角度范围内操纵波束成型器304，从而确定所述角度范围内的波束成型器输出。
在步骤S407，处理装置306处理来自波束成型器304的波束成型器输出，以使得对于所述角度范围内的每个角度，可以计算输出信号的能量。
在步骤S408，处理装置306处理来自波束成型器304的波束成型器输出，以使得对于所述角度范围内的每个角度，从用于那个角度的波束成型器输出能量中移除是以下各项中的最小值的值：（i）用于那个角度的波束成型器输出的能量；和（ii）用于围绕主到达方向镜像的相对应角度的相对应波束成型器输出的能量。在一些实施方式中，基于（但是可以等于或者可以不等于）以下各项中的最小值：（i）用于那个角度的波束成型器输出的能量，和（ii）用于围绕主到达方向镜像的相对应角度的相对应波束成型器输出的能量来移除能量。例如，可随时间来平滑能量分布。可替换地或附加地，可随时间来平滑作为结果产生的能量分布。所有这些都减低了随机波动的不利效果。
在步骤S408移除了信号值之后，波束成型器输出的范围中的剩余信号值指示来自干扰源（204、206和208）的干扰音频信号的到达方向。在步骤S410，处理装置306从波束成型器输出的范围中的剩余信号值确定干扰到达方向。
图5a至6b提供步骤S408对于波束成型器输出能量的效果的实验结果。图5a显示了当以0角度从主到达方向接收到来自用户202的期望的语音信号时，作为到达方向的函数的延迟并相加波束成型器输出能量的图示。图5a是在步骤S406中执行的确定从-90度至90度的角度范围内的波束成型器输出的结果。如图5a中可见的，在0度（也就是主到达方向）的音频信号最强，这指示主要音频信号（来自用户202的语音）支配接收到的音频信号，并且麦克风阵列106中接收到的干扰音频信号具有比主要音频信号更低的功率。然而，如从图5a可见的，接收到的音频信号的能量分布不是围绕0度完全对称的。当波束成型器304被操纵朝向右侧（也就是在图中的正角度）时的波束成型器输出具有比波束成型器304被操纵朝向左侧（也就是图中的负角度，也就是相对一侧）时更高的能量。例如，波束成型器输出在40度具有略低于4.44 x 108dB的能量，而波束成型器输出在-40度具有略低于4.42 x 108dB的能量。这样的不对称性是由于在麦克风阵列106中从正角度接收到比从负角度接收到的干扰更高等级的干扰。
在使用中，可以操纵波束成型器304，以使得波束成型器304的角度范围具有0度的主到达方向。相比于被设置为使得主方向偏离0度的波束成型器304，具有0度的主到达方向的波束成型器304一般提供更简单的波束成型处理。然而，在具有超过一个主到达方向（也就是超过一个的期望的音频信号）的情况下，在优化设置中，可将波束成型器304的至少一些主到达方向设置为偏离0度。波束成型器304的系数可适配来聚焦于从超过一个方向接收到的音频信号，从而聚焦到超过一个的主到达方向。
图5b显示了步骤S408的结果，其中处理装置306处理如图5a所示的来自波束成型器304的波束成型器输出，以使得对于所述角度范围内的每个角度，基于以下各项中的最小值从用于那个角度的波束成型器输出能量中移除一个值：（i）用于那个角度的波束成型器输出的能量；（ii）用于围绕主到达方向镜像的相对应角度的相对应波束成型器输出的能量。在一个理想的场景中，其中麦克风阵列106中没有接收到干扰音频信号，则图5b所示的图示在零能量处将完全平坦，这是因为所有接收到的音频信号将围绕主到达方向对称，并且因而将被全部移除。
图5b清楚地显示了更高等级的干扰从右手侧（也就是正角度）到达，并且似乎显示了最大干扰来自90度的角度。在理论上来说，如果步骤S408移除了在每个角度中如下各项中的最小值的确切能量：（i）用于那个角度的波束成型器输出的能量；和（ii）用于围绕主到达方向镜像的相对应角度的相对应波束成型器输出的能量，那么可以预计图5b的左手侧（也就是负角度）将位于零等级，并且可以预计图5b的右手侧（也就是正角度）具有正的值，而峰值位于对应于干扰音频信号的干扰到达方向的角度。然而，图5b显示了对波束成型器输出能量应用了时间平滑的实际试验结果，并且作为结果在负值处的能量并非完全等于零。然而，图5b指示干扰音频信号的干扰到达方向，并且似乎指示干扰到达方向位于90度。替代仅检测一个干扰角度，可使用如图5b所示的值来缩放正则化噪声（regularization noise）。可基于正则化噪声来控制抑制程度，以使得向整个右侧增加较强抑制，从而保证对干扰源的显著抑制。
图6a显示了当从45度的干扰到达方向接收到来自用户204的干扰语音信号时，作为到达方向的函数的延迟并相加波束成型器输出能量的图示。图6a是在步骤S406中执行的确定从-90度至90度的角度范围内的波束成型器输出能量的结果。如图6a中可见的，在45度（也就是干扰到达方向）音频信号最强，其指示干扰音频信号（来自用户204的语音）支配接收到的音频信号。因此，如图6a所示的接收到的音频信号的空间分布并非围绕0度对称。
图6b显示了步骤S408的结果，其中处理装置306处理如图6a所示的来自波束成型器304的波束成型器输出，以使得对于所述角度范围内的每个角度，基于以下各项中的最小值从用于那个角度的波束成型器输出能量中移除一个值：（i）用于那个角度的波束成型器输出的能量，和（ii）用于围绕主到达方向镜像的相对应角度的相对应波束成型器输出的能量。图6b显示了对波束成型器输出应用平滑的实际试验结果。如图6b所示的波束成型器输出能量随着角度增加超过45度而保持升高。这是因为麦克风的数量如此少以至于处于干扰之一旁边的角度的波束成型器的主波瓣包括大量来自干扰源的组分。对于数量少的麦克风，该次优性差别不大，因为我们大多只能抑制一侧或另一侧，对于阵列中更多数量的麦克风，主波瓣将更窄，因而这将导致输出能量中具有更少的干扰拖尾效应（smearing）。
图6b清楚地显示了更高等级的干扰从右手侧（也就是从正角度）到达，其指示干扰音频信号的干扰到达方向。
回到图4，一旦在以上所述的步骤S410中确定了干扰音频信号的干扰到达方向，接着在步骤S412中，处理装置306适配波束成型器304以抑制从确定的干扰到达方向接收到的干扰音频信号。在这个意义上，处理装置306适配由波束成型器304应用到接收到的音频信号上的波束成型器系数。波束成型器系数描述作为在麦克风阵列106中接收音频信号的角度的函数的衰减，波束成型器304将其应用到音频信号。适配波束成型器系数以使得向麦克风阵列106中从确定的干扰到达方向接收到的音频信号应用更高等级的抑制。
在步骤S414，波束成型器输出处理后的音频信号以用于在设备102中做进一步处理。在步骤S412中的波束成型器系数的适配通过降低波束成型器输出中的干扰而提高了波束成型器输出中的主要音频信号的质量。
在一个例子中，波束成型器304是最小方差无失真响应（MVDR）波束成型器，在不失真麦克风阵列106中从主到达方向接收到的主要音频信号的约束下，其最小化波束成型器304的输出的能量。
由波束成型器304和/或处理装置306执行到达方向（DOA）估计操作以确定来自用户202的语音信号的主到达方向，以下将参照图7对其进行更详细的描述。
由DOA估计块303通过如下操作估计DOA信息：例如使用相关方法来估计在麦克风阵列106的多个麦克风中接收到的音频信号之间的时间延迟，以及使用关于麦克风阵列106的多个麦克风3021、3022和3023的位置的先验知识来估计音频信号源。
作为一个例子，图7显示了从主要音频源202接收两个单独输入通道上的音频信号的麦克风阵列106的麦克风3021和3022。为了便于理解，图5显示了一个点源202，其中声波以圆周运动方式远离源202传播。在真实情况下就是这样的，但是以下所示的公式假设在麦克风3021和3022中将接收到的音频信号作为平面波来接收。当点源202离麦克风3021和3022足够远时，这样的假设是好的假设。可使用公式（1）在平面波的假设下估计音频信号到达以距离d分离的麦克风3021和3022的方向：
Figure 538830DEST_PATH_IMAGE001
                             （1）
其中v是声速，
Figure 393654DEST_PATH_IMAGE002
是来自主要源202的音频信号到达麦克风3021和3022的时间之间的差，也就是时间延迟。距离d是麦克风阵列106的已知参数，声速v也是已知的（大致为340m/s）。时间延迟
Figure 173391DEST_PATH_IMAGE002
作为最大化麦克风3021和3022的输出中接收到的主要音频信号之间的互相关性的时间标签而被获得。接着可使用以上给出的公式（1）得到相应于该时间延迟的角度
Figure 506283DEST_PATH_IMAGE003
。可在以最大互相关性的延迟接收到的音频信号中检测语音特征以确定主扬声器的一个或多个主方向。
可以明了的是，计算信号的互相关性是信号处理领域的公知技术，此处不对其进行更详细的描述。
在优选的实施方式中，无论何时来自用户202的具有主到达方向的期望的语音信号支配输入信号的时候，也就是说，无论何时在从波束成型器输出的范围内减去任何值之前的最大能量是来自延迟并相加波束成型器在0度的输出的时候，根据以上所述方法的干扰到达方向的确定都是激活。在这些条件下，该方法特别有用，例如用于确定语音信号的回响的到达方向。如上所述，本发明的实施方式相对于现有技术的具体优点在于用于干扰源的到达方向的清楚识别，并且期望的扬声器的声音反射的方向的识别是其特定的强项。
在以上所述的实施方式中，DOA估计块303和处理装置306被显示为与波束成型器304分离的元件，但在可替换的实施方式中，DOA估计块303、处理装置306和波束成型器304可实现为设备102内的单个单元。
可周期性地执行步骤S404至S412以确保波束成型器304的系数被如此适配，从而正确地抑制麦克风阵列106中当前接收到的干扰音频信号。尽管在以上所述的实施方式以及如图3所示都仅使用了一个波束成型器304，都是在其他实施方式中，可以使用两个或多个波束成型器。在一个例子中，可以使用主要波束成型器（例如最小方差无失真响应（MVDR）波束成型器）来处理接收到的音频信号，从而提供输出以用于在设备102中做进一步处理，而在步骤S406至S410中可使用次要波束成型器（例如延迟并相加波束成型器）来确定干扰音频信号的干扰方向。在这个例子中，当在所述角度范围上操纵时，处理装置306将接收来自次要波束成型器的波束成型器输出，并且使用这些波束成型器输出来确定干扰到达角度（在步骤S408和S410中），但是接着处理装置306将适配主要波束成型器的系数（在步骤S412中），以使得在传递主要波束成型器的波束成型器输出以供在设备102中做进一步处理之前，将正确的波束成型器系数应用到波束成型器的接收音频信号以抑制干扰音频信号。
如上所述，可将DOA估计块303、波束成型器304和处理装置306实现为在CPU 104上执行的软件或实现为设备102中的硬件。当DOA估计块303、波束成型器304和处理装置306实现为软件时，可通过包含在非瞬态计算机可读媒介上的计算机程序产品的方式来提供DOA估计块303、波束成型器304和处理装置306，该计算机程序产品被配置为当在设备102的CPU 104上执行时，执行以上所述的DOA估计块303、波束成型器304和处理装置306的功能。
虽然以上所述的实施方式提及了从单个用户202接收一个期望的音频信号（d1）的麦克风阵列106，但是可以理解的是麦克风阵列106可接收来自多个用户的音频信号，例如在可以全部都被视为期望的音频信号的会议呼叫中。在该场景中，多个希望音频信号源到达麦克风阵列106。
虽然以上所述的实施方式提及了使用波束成型器输出，但是还可以使用指示每个特定角度的接收信号的能量的其他测量值。在任何合适的测量值中的空间不对称性将指示干扰信号的到达方向，这是因为在测量值中主要信号看起来是对称的。以上所述的波束成型器输出仅是合适的相关性测量值的一个例子。其他可用量度的例子是互相关性系数、互协方差系数、相干性和互相关性以及基于以上的一个或多个的任何量度。
此外，虽然已经参照优选实施方式特别地显示和描述了本发明，但是本领域技术人员将理解可以做出各种形式或细节上的改变而不脱离于由所附权利要求定义的本发明的范围。

Claims (10)

1.一种在设备（102）中处理信号的方法，所述方法包括：
在所述设备（102）的输入装置（106）处在一个角度范围上接收信号，所述信号包括在到达所述输入装置（106）的主到达方向接收到的主要信号和在到达所述输入装置（106）的相应的至少一个干扰到达方向接收到的至少一个干扰信号；
确定用于所述角度范围上接收到的信号的多个测量值，每个测量值涉及特定角度，并且指示从所述特定角度接收到的所述接收信号的能量；和
对于所述角度范围的每个角度，基于以下各项中的最小值从用于那个角度的所述测量值中移除一个值：（i）用于那个角度的测量值，和（ii）用于围绕所述主到达方向镜像的相对应角度的相对应测量值，其中所述多个测量值的剩余值指示所述至少一个干扰到达方向。
2.根据权利要求1所述的方法，进一步包括抑制从由所述测量值的剩余值指示的所述至少一个干扰到达方向接收到的信号。
3.根据权利要求1或2所述的方法，进一步包括以下的至少一个：（i）通过分析接收到的信号来确定所述主到达方向，和（ii）设置所述角度范围以使得所述主到达方向位于所述角度范围的中间。
4.根据以上任一权利要求所述的方法，其中确定多个测量值的步骤包括当在所述角度范围上操纵时，确定将应用到所述接收到的信号的波束成型装置（304）的波束成型器输出的范围，和
其中从用于所述角度范围内的每个角度的测量值中移除一个值的步骤包括基于以下各项中的最小值从用于那个角度的所述波束成型器输出能量中移除一个值：（i）用于那个角度的所述波束成型器输出的能量，和（ii）用于围绕所述主到达方向镜像的相对应角度的相对应波束成型器输出的能量，其中所述多个波束成型器输出的剩余值指示所述至少一个干扰到达方向。
5.根据权利要求1-3任一所述的方法，其中所述测量值是指示作为接收信号的角度的函数的接收信号的相关性的相关性测量值。
6.根据以上任一权利要求所述的方法，其中所述输入装置（106）包括用于接收所述信号的多个传感器（302），并且所述方法进一步包括使用主要波束成型器以对接收到的信号应用波束成型器系数，从而对在所述至少一个干扰到达方向接收到的信号应用比在所述主到达方向接收到的信号更高等级的抑制。
7.一种用于处理信号的设备（102），所述设备（102）包括：
输入装置（106），用于在一个角度范围内接收信号，所述信号包括在到达所述输入装置（106）的主到达方向接收到的主要信号和在到达所述输入装置（106）的相应的至少一个干扰到达方向接收到的至少一个干扰信号；
确定装置，用于确定用于所述角度范围内接收到的信号的多个测量值，每个测量值涉及特定角度，并且指示从所述特定角度接收到的所述接收信号的能量；和
移除装置，用于对于所述角度范围的每个角度，基于以下各项中的最小值从用于那个角度的所述测量值中移除一个值：（i）用于那个角度的测量值，和（ii）用于围绕所述主到达方向镜像的相对应角度的相对应测量值，其中所述多个测量值的剩余值指示所述至少一个干扰到达方向。
8.根据权利要求7所述的设备，其中所述输入装置（106）包括用于接收所述信号的多个传感器（302），并且其中所述设备（102）包括用于应用波束成型器系数到接收到的信号的主要波束成型器（304），从而对在所述至少一个干扰到达方向接收到的信号应用比在所述主到达方向接收到的信号更高等级的抑制，其中所述主要波束成型器（304）包括最小方差无失真响应波束成型器。
9.根据权利要求7或8所述的设备，其中所述信号是音频信号，并且所述输入装置（106）包括用于接收所述音频信号的多个麦克风（302）。
10.一种用于处理在设备（102）的输入装置（106）中在一个角度范围上接收到的信号的计算机程序产品，所述信号包括在到达所述输入装置（106）的主到达方向接收到的主要信号和在到达所述输入装置（106）的至少一个干扰到达方向接收到的至少一个干扰信号；所述计算机程序产品包含在非瞬态计算机可读媒介上，并且被配置为当在所述设备（102）的处理器（104）上执行时，执行权利要求1至6中任何一项的步骤。
CN201210367888.3A 2011-09-30 2012-09-28 用于处理信号的方法和设备 Active CN103117064B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
GB1116843.2A GB2495278A (en) 2011-09-30 2011-09-30 Processing received signals from a range of receiving angles to reduce interference
GB1116843.2 2011-09-30
US13/308,106 US8891785B2 (en) 2011-09-30 2011-11-30 Processing signals
US13/308106 2011-11-30

Publications (2)

Publication Number Publication Date
CN103117064A true CN103117064A (zh) 2013-05-22
CN103117064B CN103117064B (zh) 2015-05-20

Family

ID=44994223

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210367888.3A Active CN103117064B (zh) 2011-09-30 2012-09-28 用于处理信号的方法和设备

Country Status (5)

Country Link
US (1) US8891785B2 (zh)
EP (1) EP2748816B1 (zh)
CN (1) CN103117064B (zh)
GB (1) GB2495278A (zh)
WO (1) WO2013049737A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105960596A (zh) * 2014-02-03 2016-09-21 谷歌公司 使用音频映射设备的位置
CN113286227A (zh) * 2020-02-20 2021-08-20 西万拓私人有限公司 用于抑制麦克风装置的固有噪声的方法

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2493327B (en) 2011-07-05 2018-06-06 Skype Processing audio signals
GB2495128B (en) 2011-09-30 2018-04-04 Skype Processing signals
GB2495130B (en) 2011-09-30 2018-10-24 Skype Processing audio signals
GB2495129B (en) 2011-09-30 2017-07-19 Skype Processing signals
GB2495472B (en) 2011-09-30 2019-07-03 Skype Processing audio signals
GB2495131A (en) 2011-09-30 2013-04-03 Skype A mobile device includes a received-signal beamformer that adapts to motion of the mobile device
KR20130048075A (ko) * 2011-11-01 2013-05-09 삼성전자주식회사 다중 음원 위치추적장치 및 그 위치추적방법
GB2496660B (en) 2011-11-18 2014-06-04 Skype Processing audio signals
GB201120392D0 (en) 2011-11-25 2012-01-11 Skype Ltd Processing signals
GB2497343B (en) 2011-12-08 2014-11-26 Skype Processing audio signals
EP3159243B1 (en) * 2013-03-11 2018-07-18 Steering Solutions IP Holding Corporation Cross check strategy for systematic error protection
KR101781885B1 (ko) * 2013-10-31 2017-09-26 엘지전자 주식회사 무선 통신 시스템에서 대규모 mimo를 통한 방송 채널 송신 방법 및 이를 위한 장치
US9781508B2 (en) * 2015-01-05 2017-10-03 Oki Electric Industry Co., Ltd. Sound pickup device, program recorded medium, and method
US9565493B2 (en) * 2015-04-30 2017-02-07 Shure Acquisition Holdings, Inc. Array microphone system and method of assembling the same
US9747920B2 (en) * 2015-12-17 2017-08-29 Amazon Technologies, Inc. Adaptive beamforming to create reference channels
CN106501765B (zh) * 2016-12-02 2018-09-25 南京邮电大学 一种基于平方和与半定规划的最大似然波达方向估计方法
WO2020183219A1 (en) * 2019-03-10 2020-09-17 Kardome Technology Ltd. Speech enhancement using clustering of cues
CN110517677B (zh) * 2019-08-27 2022-02-08 腾讯科技（深圳）有限公司 语音处理系统、方法、设备、语音识别系统及存储介质
CN110415718B (zh) * 2019-09-05 2020-11-03 腾讯科技（深圳）有限公司 信号生成的方法、基于人工智能的语音识别方法及装置
CN111402873B (zh) * 2020-02-25 2023-10-20 北京声智科技有限公司 语音信号处理方法、装置、设备及存储介质
EP4147230A4 (en) * 2020-05-08 2024-04-10 Microsoft Technology Licensing Llc SYSTEM AND METHOD FOR DATA AUGMENTATION FOR MULTIMICROPHONE SIGNAL PROCESSING

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1406066A (zh) * 2001-09-14 2003-03-26 索尼株式会社 音频输入装置、音频输入方法以及音频输入和输出装置
WO2008062854A1 (en) * 2006-11-20 2008-05-29 Panasonic Corporation Apparatus and method for detecting sound
CN101625871A (zh) * 2008-07-11 2010-01-13 富士通株式会社 噪声抑制装置、噪声抑制方法以及移动电话机
EP2175446A2 (en) * 2008-10-10 2010-04-14 Samsung Electronics Co., Ltd. Apparatus and method for noise estimation, and noise reduction apparatus employing the same
CN102111697A (zh) * 2009-12-28 2011-06-29 歌尔声学股份有限公司 一种麦克风阵列降噪控制方法及装置

Family Cites Families (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2753278A1 (de) 1977-11-30 1979-05-31 Basf Ag Aralkylpiperidinone
US4849764A (en) 1987-08-04 1989-07-18 Raytheon Company Interference source noise cancelling beamformer
FR2682251B1 (fr) 1991-10-02 1997-04-25 Prescom Sarl Procede et systeme de prise de son, et appareil de prise et de restitution de son.
US5542101A (en) * 1993-11-19 1996-07-30 At&T Corp. Method and apparatus for receiving signals in a multi-path environment
US6157403A (en) 1996-08-05 2000-12-05 Kabushiki Kaisha Toshiba Apparatus for detecting position of object capable of simultaneously detecting plural objects and detection method therefor
US6232918B1 (en) 1997-01-08 2001-05-15 Us Wireless Corporation Antenna array calibration in wireless communication systems
US6549627B1 (en) 1998-01-30 2003-04-15 Telefonaktiebolaget Lm Ericsson Generating calibration signals for an adaptive beamformer
JP4163294B2 (ja) 1998-07-31 2008-10-08 株式会社東芝 雑音抑圧処理装置および雑音抑圧処理方法
US6049607A (en) 1998-09-18 2000-04-11 Lamar Signal Processing Interference canceling method and apparatus
DE19943872A1 (de) 1999-09-14 2001-03-15 Thomson Brandt Gmbh Vorrichtung zur Anpassung der Richtcharakteristik von Mikrofonen für die Sprachsteuerung
EP1254513A4 (en) 1999-11-29 2009-11-04 Syfx SYSTEMS AND METHODS FOR SIGNAL PROCESSING
US6885338B2 (en) * 2000-12-29 2005-04-26 Lockheed Martin Corporation Adaptive digital beamformer coefficient processor for satellite signal interference reduction
WO2003010996A2 (en) 2001-07-20 2003-02-06 Koninklijke Philips Electronics N.V. Sound reinforcement system having an echo suppressor and loudspeaker beamformer
US8098844B2 (en) 2002-02-05 2012-01-17 Mh Acoustics, Llc Dual-microphone spatial noise suppression
JP4195267B2 (ja) * 2002-03-14 2008-12-10 インターナショナル・ビジネス・マシーンズ・コーポレーション 音声認識装置、その音声認識方法及びプログラム
JP4161628B2 (ja) 2002-07-19 2008-10-08 日本電気株式会社 エコー抑圧方法及び装置
US8233642B2 (en) 2003-08-27 2012-07-31 Sony Computer Entertainment Inc. Methods and apparatuses for capturing an audio signal based on a location of the signal
CN100492492C (zh) 2002-09-19 2009-05-27 松下电器产业株式会社 音频解码设备和方法
US6914854B1 (en) 2002-10-29 2005-07-05 The United States Of America As Represented By The Secretary Of The Army Method for detecting extended range motion and counting moving objects using an acoustics microphone array
CA2413217C (en) 2002-11-29 2007-01-16 Mitel Knowledge Corporation Method of acoustic echo cancellation in full-duplex hands free audio conferencing with spatial directivity
JP4104626B2 (ja) 2003-02-07 2008-06-18 日本電信電話株式会社 収音方法及び収音装置
US7519186B2 (en) 2003-04-25 2009-04-14 Microsoft Corporation Noise reduction systems and methods for voice applications
GB0321722D0 (en) 2003-09-16 2003-10-15 Mitel Networks Corp A method for optimal microphone array design under uniform acoustic coupling constraints
CN100488091C (zh) 2003-10-29 2009-05-13 中兴通讯股份有限公司 应用于cdma系统中的固定波束成形装置及其方法
US7426464B2 (en) 2004-07-15 2008-09-16 Bitwave Pte Ltd. Signal processing apparatus and method for reducing noise and interference in speech communication and speech recognition
CN101015001A (zh) 2004-09-07 2007-08-08 皇家飞利浦电子股份有限公司 提高了噪声抑制能力的电话装置
JP2006109340A (ja) 2004-10-08 2006-04-20 Yamaha Corp 音響システム
US7983720B2 (en) 2004-12-22 2011-07-19 Broadcom Corporation Wireless telephone with adaptive microphone array
EP1722545B1 (en) 2005-05-09 2008-08-13 Mitel Networks Corporation A method and a system to reduce training time of an acoustic echo canceller in a full-duplex beamforming-based audio conferencing system
JP2006319448A (ja) 2005-05-10 2006-11-24 Yamaha Corp 拡声システム
JP2006333069A (ja) 2005-05-26 2006-12-07 Hitachi Ltd 移動体用アンテナ制御装置およびアンテナ制御方法
JP2007006264A (ja) 2005-06-24 2007-01-11 Toshiba Corp ダイバーシチ受信機
KR100749451B1 (ko) * 2005-12-02 2007-08-14 한국전자통신연구원 Ｏｆｄｍ 기지국 시스템에서의 스마트 안테나 빔 형성 방법및 장치
CN1809105B (zh) 2006-01-13 2010-05-12 北京中星微电子有限公司 适用于小型移动通信设备的双麦克语音增强方法及系统
WO2007127182A2 (en) 2006-04-25 2007-11-08 Incel Vision Inc. Noise reduction system and method
JP2007318438A (ja) 2006-05-25 2007-12-06 Yamaha Corp 音声状況データ生成装置、音声状況可視化装置、音声状況データ編集装置、音声データ再生装置、および音声通信システム
JP4747949B2 (ja) 2006-05-25 2011-08-17 ヤマハ株式会社 音声会議装置
US8000418B2 (en) * 2006-08-10 2011-08-16 Cisco Technology, Inc. Method and system for improving robustness of interference nulling for antenna arrays
RS49875B (sr) 2006-10-04 2008-08-07 Micronasnit, Sistem i postupak za slobodnu govornu komunikaciju pomoću mikrofonskog niza
EP1919251B1 (en) 2006-10-30 2010-09-01 Mitel Networks Corporation Beamforming weights conditioning for efficient implementations of broadband beamformers
US7945442B2 (en) 2006-12-15 2011-05-17 Fortemedia, Inc. Internet communication device and method for controlling noise thereof
KR101365988B1 (ko) * 2007-01-05 2014-02-21 삼성전자주식회사 지향성 스피커 시스템의 자동 셋-업 방법 및 장치
JP4799443B2 (ja) 2007-02-21 2011-10-26 株式会社東芝 受音装置及びその方法
US8005238B2 (en) 2007-03-22 2011-08-23 Microsoft Corporation Robust adaptive beamforming with enhanced noise suppression
US20090010453A1 (en) 2007-07-02 2009-01-08 Motorola, Inc. Intelligent gradient noise reduction system
JP4854630B2 (ja) 2007-09-13 2012-01-18 富士通株式会社 音処理装置、利得制御装置、利得制御方法及びコンピュータプログラム
KR101437830B1 (ko) 2007-11-13 2014-11-03 삼성전자주식회사 음성 구간 검출 방법 및 장치
US8379891B2 (en) 2008-06-04 2013-02-19 Microsoft Corporation Loudspeaker array design
NO328622B1 (no) 2008-06-30 2010-04-06 Tandberg Telecom As Anordning og fremgangsmate for reduksjon av tastaturstoy i konferanseutstyr
JP5206234B2 (ja) 2008-08-27 2013-06-12 富士通株式会社 雑音抑圧装置、携帯電話機、雑音抑圧方法及びコンピュータプログラム
KR101178801B1 (ko) 2008-12-09 2012-08-31 한국전자통신연구원 음원분리 및 음원식별을 이용한 음성인식 장치 및 방법
US8401178B2 (en) 2008-09-30 2013-03-19 Apple Inc. Multiple microphone switching and configuration
US8724829B2 (en) 2008-10-24 2014-05-13 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for coherence detection
US8150063B2 (en) 2008-11-25 2012-04-03 Apple Inc. Stabilizing directional audio input from a moving microphone array
EP2197219B1 (en) 2008-12-12 2012-10-24 Nuance Communications, Inc. Method for determining a time delay for time delay compensation
US8401206B2 (en) 2009-01-15 2013-03-19 Microsoft Corporation Adaptive beamformer using a log domain optimization criterion
EP2222091B1 (en) 2009-02-23 2013-04-24 Nuance Communications, Inc. Method for determining a set of filter coefficients for an acoustic echo compensation means
US20100217590A1 (en) 2009-02-24 2010-08-26 Broadcom Corporation Speaker localization system and method
KR101041039B1 (ko) 2009-02-27 2011-06-14 고려대학교 산학협력단 오디오 및 비디오 정보를 이용한 시공간 음성 구간 검출 방법 및 장치
JP5197458B2 (ja) 2009-03-25 2013-05-15 株式会社東芝 受音信号処理装置、方法およびプログラム
EP2237271B1 (en) 2009-03-31 2021-01-20 Cerence Operating Company Method for determining a signal component for reducing noise in an input signal
US8249862B1 (en) 2009-04-15 2012-08-21 Mediatek Inc. Audio processing apparatuses
JP5207479B2 (ja) 2009-05-19 2013-06-12 国立大学法人 奈良先端科学技術大学院大学 雑音抑圧装置およびプログラム
US8620672B2 (en) 2009-06-09 2013-12-31 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for phase-based processing of multichannel signal
US8174932B2 (en) 2009-06-11 2012-05-08 Hewlett-Packard Development Company, L.P. Multimodal object localization
FR2948484B1 (fr) 2009-07-23 2011-07-29 Parrot Procede de filtrage des bruits lateraux non-stationnaires pour un dispositif audio multi-microphone, notamment un dispositif telephonique "mains libres" pour vehicule automobile
US8644517B2 (en) 2009-08-17 2014-02-04 Broadcom Corporation System and method for automatic disabling and enabling of an acoustic beamformer
FR2950461B1 (fr) 2009-09-22 2011-10-21 Parrot Procede de filtrage optimise des bruits non stationnaires captes par un dispositif audio multi-microphone, notamment un dispositif telephonique "mains libres" pour vehicule automobile
CN101667426A (zh) 2009-09-23 2010-03-10 中兴通讯股份有限公司 一种消除环境噪声的装置及方法
EP2339574B1 (en) 2009-11-20 2013-03-13 Nxp B.V. Speech detector
TWI415117B (zh) 2009-12-25 2013-11-11 Univ Nat Chiao Tung 使用在麥克風陣列之消除殘響與減低噪音方法及其裝置
US8219394B2 (en) 2010-01-20 2012-07-10 Microsoft Corporation Adaptive ambient sound suppression and speech tracking
US8525868B2 (en) 2011-01-13 2013-09-03 Qualcomm Incorporated Variable beamforming with a mobile platform
GB2491173A (en) 2011-05-26 2012-11-28 Skype Setting gain applied to an audio signal based on direction of arrival (DOA) information
US9264553B2 (en) 2011-06-11 2016-02-16 Clearone Communications, Inc. Methods and apparatuses for echo cancelation with beamforming microphone arrays
GB2493327B (en) 2011-07-05 2018-06-06 Skype Processing audio signals
GB2495128B (en) 2011-09-30 2018-04-04 Skype Processing signals
GB2495130B (en) 2011-09-30 2018-10-24 Skype Processing audio signals
GB2495131A (en) 2011-09-30 2013-04-03 Skype A mobile device includes a received-signal beamformer that adapts to motion of the mobile device
GB2495129B (en) 2011-09-30 2017-07-19 Skype Processing signals
GB2495472B (en) 2011-09-30 2019-07-03 Skype Processing audio signals
GB2496660B (en) 2011-11-18 2014-06-04 Skype Processing audio signals
GB201120392D0 (en) 2011-11-25 2012-01-11 Skype Ltd Processing signals
GB2497343B (en) 2011-12-08 2014-11-26 Skype Processing audio signals

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1406066A (zh) * 2001-09-14 2003-03-26 索尼株式会社 音频输入装置、音频输入方法以及音频输入和输出装置
WO2008062854A1 (en) * 2006-11-20 2008-05-29 Panasonic Corporation Apparatus and method for detecting sound
CN101625871A (zh) * 2008-07-11 2010-01-13 富士通株式会社 噪声抑制装置、噪声抑制方法以及移动电话机
EP2175446A2 (en) * 2008-10-10 2010-04-14 Samsung Electronics Co., Ltd. Apparatus and method for noise estimation, and noise reduction apparatus employing the same
CN102111697A (zh) * 2009-12-28 2011-06-29 歌尔声学股份有限公司 一种麦克风阵列降噪控制方法及装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105960596A (zh) * 2014-02-03 2016-09-21 谷歌公司 使用音频映射设备的位置
US9753129B2 (en) 2014-02-03 2017-09-05 Google Inc. Mapping positions of devices using audio
US10145947B2 (en) 2014-02-03 2018-12-04 Google Llc Mapping positions of devices using audio
CN113286227A (zh) * 2020-02-20 2021-08-20 西万拓私人有限公司 用于抑制麦克风装置的固有噪声的方法
US11540042B2 (en) 2020-02-20 2022-12-27 Sivantos Pte. Ltd. Method of rejecting inherent noise of a microphone arrangement, and hearing device
CN113286227B (zh) * 2020-02-20 2023-03-24 西万拓私人有限公司 用于抑制麦克风装置的固有噪声的方法

Also Published As

Publication number Publication date
GB201116843D0 (en) 2011-11-09
WO2013049737A1 (en) 2013-04-04
US20130083832A1 (en) 2013-04-04
GB2495278A (en) 2013-04-10
EP2748816B1 (en) 2016-12-28
CN103117064B (zh) 2015-05-20
US8891785B2 (en) 2014-11-18
EP2748816A1 (en) 2014-07-02

Similar Documents

Publication Publication Date Title
CN103117064B (zh) 用于处理信号的方法和设备
EP2749042B1 (en) Processing signals
US10959018B1 (en) Method for autonomous loudspeaker room adaptation
US9042573B2 (en) Processing signals
Markovich-Golan et al. Performance analysis of the covariance subtraction method for relative transfer function estimation and comparison to the covariance whitening method
CN107976651B (zh) 一种基于麦克风阵列的声源定位方法及装置
US8981994B2 (en) Processing signals
US10598543B1 (en) Multi microphone wall detection and location estimation
EP3210391B1 (en) Reverberation estimator
US8014230B2 (en) Adaptive array control device, method and program, and adaptive array processing device, method and program using the same
US10771894B2 (en) Method and apparatus for audio capture using beamforming
EP3245795A2 (en) Reverberation suppression using multiple beamformers
US8174935B2 (en) Adaptive array control device, method and program, and adaptive array processing device, method and program using the same
Thiergart et al. Power-based signal-to-diffuse ratio estimation using noisy directional microphones
Pasha et al. Forming ad-hoc microphone arrays through clustering of acoustic room impulse responses
Saric et al. A new post-filter algorithm combined with two-step adaptive beamformer
US20210136489A1 (en) Audio capture using beamforming
CN111157949A (zh) 一种语音识别及声源定位方法
Garcia-Barrios et al. Exploiting spatial diversity for increasing the robustness of sound source localization systems against reverberation
Kowalczyk Multichannel Wiener filter with early reflection raking for automatic speech recognition in presence of reverberation
Mendoza et al. Speaker Localization in Smartphones using Adaptive Eigenvalue Decomposition with Noise Reduction
Lafta et al. Speaker Localization using Eenhanced Beamforming
Naghibi et al. An approach to prevent adaptive beamformers from cancelling the desired signal
Peterson Multiple source localization for real-world systems
Dhull Context-Aware Acoustic Source Localization Methods.

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20200513

Address after: Washington State

Patentee after: MICROSOFT TECHNOLOGY LICENSING, LLC

Address before: Ai Erlandubailin

Patentee before: Skype

TR01 Transfer of patent right