CN103827966A - 处理音频信号 - Google Patents

处理音频信号 Download PDF

Info

Publication number
CN103827966A
CN103827966A CN201280043129.XA CN201280043129A CN103827966A CN 103827966 A CN103827966 A CN 103827966A CN 201280043129 A CN201280043129 A CN 201280043129A CN 103827966 A CN103827966 A CN 103827966A
Authority
CN
China
Prior art keywords
signal
information
place
voice input
present frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280043129.XA
Other languages
English (en)
Other versions
CN103827966B (zh
Inventor
S.斯特罗默
K.V.索伦森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN103827966A publication Critical patent/CN103827966A/zh
Application granted granted Critical
Publication of CN103827966B publication Critical patent/CN103827966B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming

Abstract

本发明描述了一种用于改善移动用户之间的实时视频会话的QoE的计算机实现的系统和方法。例如，根据本发明的一个实施例的方法包括：在服务提供商网络的周界配置一个或多个服务器；从第一移动设备接收与第二移动设备建立实时通信会话的请求；给所述第一和第二移动设备提供用于连接到所述服务器的联网信息；以及通过所述服务器建立所述实时通信会话。

Description

处理音频信号
技术领域
本发明涉及在通信会话期间处理音频信号。
背景技术
通信系统允许用户通过网络与彼此进行通信。网络可以是例如因特网或公共交换电话网络(PSTN)。音频信号能够在网络的节点之间被传送，以便从而允许用户通过通信系统在通信会话中向彼此传送和接收音频数据(诸如，语音数据)。
用户设备可以具有音频输入装置，诸如能够被用来接收诸如来自用户的语音之类的音频信号的麦克风。用户可以进入与另一用户的通信会话，诸如私人呼叫(在呼叫中仅有两个用户)或会议呼叫(在呼叫中有两个以上的用户)。用户的语音在麦克风处被接收、处理并且然后通过网络被传送到呼叫中的其他(一个或多个)用户。
和来自用户的音频信号一样，麦克风还可以接收可能干扰从用户接收到的音频信号的其他音频信号，诸如背景噪声。
用户设备还可以具有音频输出装置，诸如用于将音频信号输出到用户的扬声器，所述音频信号在呼叫期间从(一个或多个)用户通过网络被接收到。然而，扬声器还可以被用来输出来自被在用户设备处执行的其他应用的音频信号。例如，用户设备可以是执行诸如用于通过网络进行通信的通信客户端之类的应用的TV。当用户设备正参与呼叫时，连接到用户设备的麦克风旨在接收由意在传送到呼叫中的其他(一个或多个)用户的用户所提供的语音或其他音频信号。然而，麦克风可以拾取从用户设备的扬声器输出的不需要的音频信号。从用户设备输出的不需要的音频信号可以导致对在麦克风处从用户接收以用于在呼叫中传送的音频信号的干扰。
为了改善信号的质量，诸如用于在呼叫中使用，期望抑制在用户设备的音频输入装置处被接收到的不需要的音频信号(背景噪声和从用户设备输出的不需要的音频信号)。
立体声麦克风和其中多个麦克风作为单个设备操作的麦克风阵列的使用正变得愈加常见。这些使得除了能够在单个麦克风中实现的东西之外还能够实现提取的空间信息的使用。当使用这种设备时抑制不需要的音频信号的一个办法是应用波束形成器(beamformer)。波束形成是设法通过应用信号处理以增强来自一个或多个期望的方向的声音来聚焦由麦克风阵列所接收到的信号的过程。为了简单我们将在下文中描述仅具有单个期望的方向的情况，但当存在更多感兴趣方向时相同的方法将适用。波束形成通过首先估计所需信号在麦克风处被从其接收到的角度(所谓的到达方向(“DOA”)信息)来实现。自适应波束形成器使用DOA信息来对来自阵列中的麦克风的信号进行滤波，以便形成在所需信号在麦克风阵列处被从其接收到的方向上具有高增益并且在任何其他方向上具有低增益的波束。
虽然波束形成器将试图抑制来自不需要的方向的不需要的音频信号，但是麦克风的数目以及麦克风阵列的形状和尺寸将限制波束形成器的效果，并且结果不需要的音频信号被抑制，但仍然是可听的。
对于后续的单通道处理，波束形成器的输出通常被作为输入信号供应给单通道噪声降低级。先前已经提出了实现单通道噪声降低的各种方法。使用中的大多数单通道噪声降低方法是谱相减(spectral subtraction)方法的变体。
谱相减方法试图使噪声从语音加噪声信号分离。谱相减牵涉计算语音加噪声信号的功率谱并且获得噪声谱的估计。语音加噪声信号的功率谱与所估计的噪声谱相比较。噪声降低能够例如通过语音加噪声谱的幅度减去噪声谱的幅度来实现。如果语音加噪声信号具有高的信号加噪声与噪声之比(SNNR)则仅非常小的噪声降低被应用。然而如果语音加噪声信号具有低的SNNR，则噪声降低将显著地降低噪声能量。
谱相减的问题是它通常使语音失真并且产生临时地且可怕地波动增益改变从而引起常常被称为乐音(musical tone)的一种类型的残留噪声的出现，这可以影响呼叫中已传送的语音质量。不同程度的这个问题同样在实现单通道噪声降低的其他已知方法中发生。
发明内容
根据本发明的第一方面提供了在用户设备与远程节点之间的通信会话期间处理音频信号的方法，所述方法包括：在用户设备处的音频输入装置处接收包括至少一个基本音频信号和不需要的信号的多个音频信号；在噪声抑制装置处接收音频信号的到达方向的信息；将表示所述不需要的信号中的至少一些的已知的到达方向的信息提供给噪声抑制装置；以及在噪声抑制装置处处理音频信号以基于音频信号的到达方向的信息与已知的到达方向的信息之间的比较将识别为不需要的信号的部分对待为噪声识别。
优选地，音频输入装置包括波束形成器，所述波束形成器被布置成：估计至少一个基本音频信号在音频输入装置处被从其接收到的至少一个主方向；以及处理所述多个音频信号以便通过在至少一个主方向上形成波束并且基本上抑制来自除主方向以外的任何方向的音频信号来生成单通道音频输出信号。
优选地，单通道音频输出信号包括帧的序列，噪声抑制装置处理序列中的所述帧中的每一个。
优选地，针对正被处理的当前帧的主信号分量的到达方向的信息在噪声抑制装置处被接收到，所述方法进一步包括：比较针对当前帧的主信号分量的信息的到达的方向和已知的到达方向的信息。
已知的到达方向的信息包括远端信号在音频输入装置处被从其接收到的至少一个方向。替换地，或者此外，已知的到达方向的信息包括至少一个已分类的方向，所述至少一个已分类的方向是至少一个不需要的音频信号从其到达音频输入装置并且基于所述至少一个不需要的音频信号的信号特性被识别的方向。替换地，或者此外，已知的到达方向的信息包括至少一个基本音频信号在音频输入装置处被从其接收到的至少一个主方向。替换地，或者此外，已知的到达方向的信息进一步包括波束形成器的波束方向图。
在一个实施例中，所述方法进一步包括：基于所述比较来确定当前帧的主信号分量是否是不需要的信号；以及如果确定当前帧的主信号分量是不需要的信号，则对正被处理的当前帧应用最大衰减。如果发生以下情况则当前帧的主信号分量可以被确定为不需要的信号：主信号分量在音频输入装置处被接收自远端信号在音频输入装置处被从其接收到的至少一个方向；或者主信号分量在音频输入装置处被从至少一个已分类的方向接收到；或者主信号分量在音频输入装置处未被从至少一个主方向接收到。
所述方法可以进一步包括：在信号处理装置处接收多个音频信号和关于至少一个主方向的信息；使用关于至少一个主方向的所述信息在信号处理装置处处理所述多个音频信号以便将附加的信息提供给噪声抑制装置；以及取决于所述附加的信息和所述比较对在噪声抑制装置处正被处理的当前帧应用一定水平的衰减。
替换地，所述方法可以进一步包括：在信号处理装置处接收单通道音频输出信号和关于至少一个主方向的信息；使用关于至少一个主方向的所述信息在信号处理装置处处理单通道音频输出信号以便将附加的信息提供给噪声抑制装置；以及取决于所述附加的信息和所述比较对在噪声抑制装置处正被处理的当前帧应用一定水平的衰减。
所述附加的信息可以包括：关于当前帧的主信号分量的合意性(desirability)的指示、或当前帧的主信号分量相对于至少一个基本音频信号的平均功率电平的功率电平、或当前帧的主信号分量的信号分类、或当前帧的主信号分量在音频输入装置处从其被接收到的至少一个方向。
优选地，所述至少一个主方向通过以下各项来确定：确定最大化在音频输入装置处正被接收的音频信号之间的交叉相关的时间延迟；以及用最大交叉相关的所述时间延迟来检测在音频输入装置处接收到的音频信号中的语音特性。
优选地，在用户设备处从通信会话中的远程节点接收到的音频数据被从用户设备的音频输出装置输出。
不需要的信号可以由在用户设备处的源来生成，所述源包括以下各项中的至少一个：用户设备的音频输出装置；在用户设备处的活动的源，其中所述活动包括点击活动，所述点击活动包括按钮点击活动、键盘点击活动以及鼠标点击活动。替换地，不需要的信号由在用户设备外部的源生成。
优选地，所述至少一个基本音频信号是在音频输入装置处接收到的语音信号。
根据本发明的第二方面提供了用于在用户设备与远程节点之间的通信会话期间处理音频信号的用户设备，所述用户终端包括：音频输入装置，其用于接收包括至少一个基本音频信号和不需要的信号的多个音频信号；以及噪声抑制装置，其用于接收音频信号的到达方向的信息和表示所述不需要的信号中的至少一些的已知的到达方向的信息，所述噪声抑制装置被配置成通过基于音频信号的到达方向的信息与已知的到达方向的信息之间的比较将识别为不需要的信号的部分对待为噪声来处理音频信号识别。
根据本发明的第三方面提供了计算机程序产品，所述计算机程序产品包括由在用户设备处的计算机处理装置执行以用于在用户设备与远程节点之间的通信会话期间处理音频信号的计算机可读指令，所述指令包括用于完成根据本发明的第一方面的方法的指令。
在以下描述的实施例中，到达方向的信息被用来细化在后续单通道噪声降低方法中要应用多少抑制的决策。因为大部分单通道噪声降低方法具有被应用于输入信号以便确保自然发声但使背景噪声衰减的最大抑制因子，所以到达方向的信息将被用来确保当声音正从除波束形成器集中于的角度外的任何其他角度到达时最大抑制因子被应用。例如，在TV通过与被用于播出远端语音相同的扬声器播出（可能以下降的音量）的情况下，一个问题是输出将被麦克风拾取。采用本发明的描述的实施例，将检测到的是，音频正从扬声器的角度到达并且除通过波束形成器的所尝试的抑制之外最大噪声降低将被应用。结果，不希望有的信号将是不太可听的，并且因此对远端扬声器干扰较少，并且由于降低的能量它将使用于将信号传送到远端的平均位速率下降。
附图说明
为了更好地理解本发明并且以便示出本发明可以如何被付诸实施，现通过例子对以下图进行参考，在图中：
图1示出了根据优选实施例的通信系统；
图2示出了根据优选实施例的用户终端的示意视图；
图3示出了用户终端的示例环境；
图4示出了根据一个实施例的在用户终端处的音频输入装置的示意图；
图5示出了表示在一个实施例中DOA信息如何被估计的图。
具体实施方式
在本发明的以下实施例中，描述了一种技术，其中，不是完全地依赖于波束形成器来使不来自焦点的方向的声音衰减，而是在后续单通道噪声降低方法中使用DOA信息确保来自除波束形成器被集中于的方向外的任何其他方向的声音的最大单通道噪声抑制。当不希望有的信号能够通过使用空间信息从所期望的近端语音信号区分时这是显著的优点。这种源的示例是播放音乐的扩音器、吹风的风扇以及正关闭的门。
通过使用信号分类其他源的方向也能够被找到。这种源的示例可以是例如冷却风扇/空调系统、背景中播放的音乐以及键盘敲击。
能够采取两个办法：第一，正从某些方向到达的不希望有的源能够被识别并且角度被从其中高于用于最大抑制的噪声抑制增益的噪声抑制增益被允许的角度中排除。例如确保来自某个不希望有的方向的音频的段被按比例缩小得就像该信号仅含有噪声那样将是可能的。在实践中对于这样的段噪声估计能够被设置为等于输入信号，并且因此噪声降低方法然后将应用最大衰减。
第二，能够在除我们预期近端语音从其到达的那些方向外的任何其他方向上使得噪声降低对语音不太敏感。也就是说，当根据信号加噪声与噪声之比来计算增益以应用于噪声信号时，作为信号加噪声与噪声之比的函数的增益还将取决于我们将传入语音的角度将看作是多么期望的。对于期望的方向作为给定信号加噪声与噪声之比的函数的增益将高于对于不太期望的方向。第二方法将确保我们不基于移动噪声源来调整，所述移动噪声源不从与(一个或多个)基本扬声器相同的方向到达，并且所述移动噪声源还尚未被检测为噪声的源。
本发明的实施例在具有单通道的单道声再现(常常被称为单声道)应用中是特别相关的。立体声应用中的噪声降低(其中存在两个或更多个独立音频通道)典型地不通过独立单通道噪声降低方法来完成，而是通过确保噪声降低方法不使立体图像失真的方法来完成。
首先参考图1，图1图示了优选实施例的通信系统100。通信系统的第一用户(用户A 102)操作用户设备104。用户设备104可以是例如移动电话、电视、个人数字助理(“PDA”)、个人计算机(“PC”) (包括例如Windows?、Mac OS?以及Linux? PC)、游戏设备或能够通过通信系统100进行通信的其他嵌入式设备。
用户设备104包括中央处理单元(CPU) 108，其可以被配置成执行诸如用于通过通信系统100进行通信的通信客户端之类的应用。该应用允许用户设备104通过通信系统100参与呼叫和其他通信会话(例如，即时消息传递通信会话)。用户设备104能够经由网络106通过通信系统100进行通信，所述网络106可以是例如因特网或公共交换电话网络(PSTN)。用户设备104能够通过链路110将数据传送到网络106，以及从网络106接收数据。
图1同样示出了远程节点，用户设备104能够通过通信系统100与该远程节点进行通信。在图1中所示出的示例中，远程节点是可由第二用户112使用并且包括CPU 116的第二用户设备114，所述CPU 116能够执行应用(例如，通信客户端)以便以与用户设备104在通信系统100中通过通信网络106进行通信的方式相同的方式通过通信网络106通信。用户设备114可以是例如移动电话、电视、个人数字助理(“PDA”)、个人计算机(“PC”) (包括，例如Windows?、Mac OS?以及Linux? PC)、游戏设备或能够通过通信系统100进行通信的其他嵌入式设备。用户设备114能够通过链路118将数据传送到网络106，以及从网络106接收数据。因此，用户A 102和用户B 112能够通过通信网络106与彼此进行通信。
图2图示了客户端在其上被执行的用户终端104的示意视图。用户终端104包括CPU 108，诸如屏幕之类的显示器204、诸如键盘214之类的输入设备以及诸如鼠标212之类的定点设备被连接到所述CPU 108。显示器204可以包括用于将数据输入到CPU 108的触摸屏。输出音频设备206 (例如扬声器)被连接到CPU 108。诸如麦克风208之类的输入音频设备经由噪声抑制装置227被连接到CPU 108。尽管噪声抑制装置227在图2中被表示为独立式硬件设备，但是噪声抑制装置227能够被实现在软件中。例如噪声抑制装置227能够被包括在客户端中。
CPU 108被连接到诸如调制解调器之类的网络接口226以用于与网络106通信。
现参考图3，图3图示了用户终端104的示例环境300。
当在麦克风208处已被接收到的音频信号被处理时期望的音频信号被识别。在处理期间，期望的音频信号基于像质量这样的语音的检测被识别并且主要扬声器的主方向被确定。这在图3中被示出，其中主要扬声器(用户102)被示出为从主方向d1到达麦克风208的期望的音频信号的源302。虽然为了简单单个主要扬声器在图3中被示出，但是应领会的是，所需音频信号的任何数目的源可以存在于环境300中。
不需要的噪声信号的源可以存在于环境300中。图3示出了可以从方向d3到达麦克风208的环境300中的不需要的噪声信号的噪声源304。不需要的噪声信号的源包括例如冷却风扇、空调系统以及播放音乐的设备。
不需要的噪声信号还可以从在用户终端104处的噪声源到达麦克风208，所述噪声源例如鼠标212的点击、键盘214的敲击以及从扬声器206输出的音频信号。图3示出了连接到麦克风208和扬声器206的用户终端104。在图3中，扬声器206是可以从方向d2到达麦克风208的不需要的音频信号的源。
虽然麦克风208和扬声器206已经被示出为连接到用户终端的外部设备，但是将领会的是，麦克风208和扬声器206可以被集成到用户终端104中。
现参考图4，图4图示了根据一个实施例的麦克风208和噪声抑制装置227的更详细的视图。
麦克风208包括包含多个麦克风的麦克风阵列402以及波束形成器404。麦克风阵列402中的每个麦克风的输出被耦合到波束形成器404。本领域的技术人员将领会，为了实现波束形成多个输入是需要的。麦克风阵列402在图4中被示出为具有三个麦克风，但是将理解的是，麦克风的这个数目仅仅是示例并且无论如何不是限制性的。
波束形成器404包括从麦克风阵列402接收音频信号的处理块409。处理块409包括话音活动检测器(VAD) 411和DOA估计块413 (其操作稍后将被描述)。处理块409明确由麦克风阵列402所接收到的音频信号的性质，并且基于像由VAD 11所检测到的质量这样的语音的检测和在块413中估计的DOA信息，(一个或多个)主要扬声器的一个或多个主方向被确定。波束形成器404使用DOA信息通过形成这样的波束来处理音频信号：所述波束在来自所需信号在麦克风阵列处被从其接收到的一个或多个主方向的方向上具有高增益并且在任何其他方向上具有低增益。虽然上面已经描述了处理块409能够确定任何数目的主方向，但是被确定的主方向的数目影响波束形成器的属性，例如在麦克风阵列处从其他(不需要的)方向接收到的信号比如果仅单个主方向被确定的情况衰减得更少。波束形成器404的输出在以待处理的单通道的形式的线路406上被提供给噪声降低级227并且然后给自动增益控制装置(在图4中未示出)。
优选地，在增益的电平被自动增益控制装置应用之前噪声抑制被应用于波束形成器的输出。这是因为噪声抑制理论上略微能够降低语音电平(非故意地)，并且自动增益控制装置将在噪声抑制之后提高语音电平并且补偿由噪声抑制所引起的语音电平中的略微降低。
在波束形成器404中估计的DOA信息被供应给噪声降低级227并且供应给信号处理电路420。
在波束形成器404中估计的DOA信息还可以被供应给自动增益控制装置。自动增益控制装置对噪声降低级227的输出应用一定水平的增益。应用于来自噪声降低级227的通道输出的增益的水平取决于在自动增益控制装置处被接收到的DOA信息。自动增益控制装置的操作在英国专利申请No. 1108885.3中被描述并且将不在本文中进一步详细地讨论。
噪声降低级227对单通道信号应用噪声降低。噪声降低能够被以许多不同的方式完成，仅作为示例，所述不同的方式包括谱相减(例如，如Boll, S在IEEE会报Acoustics, Speech and Signal Processing, 1979年4月第27卷第2期第113 - 120页的论文“Suppression of acoustic noise in speech using spectral subtraction（使用谱相减对语音中的声学噪声的抑制）”中所描述的那样)。
这个技术(以及其他已知技术)抑制识别为噪声的信号的分量以便提高信噪比，其中信号是意中的有用的信号，诸如在这种情况下的语音。
如稍后更详细地描述的那样，到达方向的信息在噪声降低级中被用来改善噪声降低并且因此提高信号的质量。
现将参考图5更详细地描述DOA估计块413的操作。
在DOA估计块413中，DOA信息通过例如使用相关方法来估计在多个麦克风处的接收到的音频信号之间的时间延迟并且使用关于所述多个麦克风的位置的先验知识来估计音频信号的源而被估计。
图5示出了从音频源516接收音频信号的麦克风403和405。能够使用等式(1)估计被分隔开距离d的麦克风403和405处的音频信号的到达的方向：
Figure 300564DEST_PATH_IMAGE002
其中v是声音的速度，并且τ D 是来自源516的音频信号到达麦克风403和405的时间之间的差 - 也就是说，时间延迟。该时间延迟被获得作为使在麦克风403和405的输出处的信号之间的交叉相关最大化的时滞。然后可以找到对应于这个时间延迟的角度θ。
将领会的是，计算信号的交叉相关是信号处理领域中的常见技术并且将不在本文中更详细地描述。
现将在下面更详细地描述噪声降低级227的操作。在本发明的所有实施例中噪声降低级227使用在用户终端处已知的以及由DOA块227所表示的DOA信息并且接收待处理的音频信号。噪声降低级227逐帧地处理音频信号。帧在长度上例如可以是在5与20毫秒之间，并且根据一种噪声抑制技术被划分成谱区间(bin)，例如，每帧介于64个与256个区间之间。
在噪声降低级227中施行的处理包括对输入到噪声降低级227的音频信号的每个帧应用一定水平的噪声抑制。由噪声降低级227应用于音频信号的每个帧的噪声抑制的水平取决于正被处理的当前帧的所提取的DOA信息与针对在用户终端处已知的各种音频源的DOA信息的组合知识之间的比较。所提取的DOA信息并排地在帧上被传递，使得它被用作除帧自身之外的噪声降低级227的输入参数。
由噪声降低级227应用于输入音频信号的噪声抑制的水平可以以许多方式受到DOA信息影响。
从已被识别为来自不需要的源的方向到达麦克风208的音频信号可以基于像特性这样的语音的检测被识别并且识别为来自主要扬声器的主方向。
在用户终端处已知的DOA信息427可以包括波束形成器的波束方向图408。噪声降低级227逐帧地处理音频输入信号。在帧的处理期间，噪声降低级227读取帧的DOA信息以找到该帧中音频信号的主要分量在麦克风208处被从其接收到的角度。帧的DOA信息被与在用户终端处已知的DOA信息427相比较。这个比较确定正被处理的帧中的音频信号的主要分量是否在麦克风208处从所需源的方向被接收到。
替换地，或者此外，在用户终端处已知的DOA信息427可以包括以其远端信号在麦克风208处从在用户终端处的扬声器(诸如206)被接收(以供应给噪声降低级227线路407)的角度φ。
替换地，或者此外，在用户终端处已知的DOA信息427可以得自功能425，所述功能425对来自不同方向的音频进行分类以定位可能作为固定噪声源的结果的非常嘈杂的特定方向。
当DOA信息427表示主所需方向时，并且通过比较确定正被处理的帧的主要分量在麦克风208处从主方向被接收到。噪声降低级227使用上面所描述的常规方法来确定噪声抑制的水平。
在第一办法中，如果确定正被处理的帧的主要分量在麦克风208处从除主方向以外的方向被接收到，则与该帧相关联的区间全部被对待为好像它们是噪声那样(即使正常的噪声降低技术将识别良好的信号加噪声与噪声之比并且因此不显著地抑制噪声)。这可以通过针对这样的帧将噪声估计设置为等于输入信号完成，并且因此噪声降低级然后将对该帧应用最大衰减。以这种方式，从除所需方向以外的方向到达的帧能够作为噪声被抑制并且信号的质量得以改善。
如在上面所提到的那样，噪声降低级227可以从功能425接收DOA信息，所述功能425识别从在不同方向上的(一个或多个)噪声源到达麦克风208的不需要的音频信号。这些不需要的音频信号被从它们的特性识别，例如来自键盘上的键敲击或风扇的音频信号具有不同于人类语音的特性。在高于用于最大抑制的噪声抑制增益的噪声抑制增益被允许的情况下，以其不需要的音频信号到达麦克风208的角度可以被排除。因此当正被处理的帧中的音频信号的主要分量在麦克风208处从排除的方向被接收到时，噪声降低级227对该帧应用最大衰减。
可以进一步包括验证装置423。例如，一旦一个或多个主方向已经被检测到(例如在波束形成器的情况下基于波束方向图408)，客户端就经由客户端用户接口通知用户102所检测到的主方向，并且询问用户102所检测到的主方向是否是正确的。这个验证正如由图4中的虚线所指示的那样是可选的。
如果用户102确认所检测到的主方向是正确的，则所检测到的主方向被发送到噪声降低级227并且噪声降低级227如上面所描述的那样操作。通信客户端可以将所检测到的主方向存储在存储器210中，一旦用户102登录到客户端并且已经确认所检测到的主方向是正确的，紧跟后续登录到客户端之后如果检测到的主方向和存储器中的确认的正确主方向匹配，则所检测到的主方向被认为是正确的。这使用户102避免了每当他登录到客户端中时不得不确认主方向。
如果用户指示所检测到的主方向是不正确的，则所检测到的主方向不被作为DOA信息发送到噪声降低级227。在这种情况下，基于相关的方法(上面参考图5来描述)就将继续检测主方向并且将仅仅在用户102确认所检测到的主方向正确时发送所检测到的一个或多个主方向。
在第一办法中，操作的模式是使得最大衰减能够基于帧的DOA信息被应用于正被处理的帧。
在第二办法中，噪声降低级227不在这样的严格的操作模式下操作。
在第二办法中，当根据信号加噪声与噪声之比来计算要应用于帧中的音频信号的增益时，作为信号加噪声与噪声之比的函数的增益取决于附加的信息。能够在信号处理块(图4中未示出)中计算这个附加的信息。
在第一实施方式中信号处理块可以被实现在麦克风208中。信号处理块(在音频信号已被应用于波束形成器404之前)从麦克风阵列402接收远端音频信号来作为输入，并且同样接收关于从相关方法获得的(一个或多个)主方向的信息。在这个实施方式中，信号处理块将附加的信息输出到噪声降低级227。
在第二实施方式中信号处理块可以被实现在噪声降低级227它本身中。信号处理块从波束形成器404接收单通道输出信号来作为输入，并且同样接收关于从相关方法获得的(一个或多个)主方向的信息。在这个实施方式中噪声降低级227可以接收指示扬声器206是活动的信息，并且能够确保在正被处理的帧中的主信号分量仅仅作为噪声被处置，只要它不同于期望的语音的角度。
在这两个实施方式中在信号处理块中计算的附加的信息被噪声降低级227用来根据信号加噪声与噪声之比来计算要应用于正被处理的帧中的音频信号的增益。
附加的信息可以包括例如期望的语音将从特定方向/角度到达的可能性。
在这个场景中信号处理块提供这样的值作为输出：所述值指示当前正被噪声降低级277处理的帧有多大可能包含噪声降低级应该保留的期望的分量。信号处理块量化传入语音在麦克风208处被从其接收到的角度的合意性。例如如果音频信号在回声期间在麦克风208处被接收到，则以其这些音频信号在麦克风208处被接收到的角度很可能是不希望有的角度，因为不期望保留从在用户终端处的扬声器(诸如206)接收到的任何远端信号。
在这个场景中，由噪声降低级227应用于帧的作为信号加噪声与噪声之比的函数的噪声抑制增益取决于合意性的这个量化的量度。对于期望的方向作为给定信号加噪声与噪声之比的函数的增益将比对于不太期望的方向的更高，即较少衰减被噪声降低级227针对较期望的方向来应用。
附加的信息可以替换地包括当前帧的主信号分量相对于从所期望的(一个或多个)方向接收到的音频信号的平均功率的功率。在这个场景中，由噪声降低级227应用于帧的作为信号加噪声与噪声之比的函数的噪声抑制增益取决于这个量化的功率比。主信号分量的功率相对于来自主方向的平均功率越接近，由噪声降低级227应用的作为给定信号加噪声与噪声之比的函数的增益越高，即较少衰减被应用。
附加的信息可以替换地是提供当前帧的主信号分量的信号分类的信号分类器输出。在这个场景中，噪声降低级227可以对帧应用变化水平的衰减，其中帧的主要分量在麦克风阵列402处被从取决于信号分类器输出的特定方向接收到。因此如果角度被确定为非期望的方向，则噪声降低级227可以较之来自相同的非期望的方向的语音更多地降低来自该非期望的方向的噪声。如果期望的语音被预期从非期望的方向到达则这是可能的并且的确是实用的。然而，它具有严重的缺点，即，噪声将被调制，即当所期望的扬声器是活动的时噪声将是较高的，并且当不希望有的扬声器是活动的时噪声将是较低的。替代地，优选略微降低来自这个方向的信号中的语音的电平。如果通过确信应用相同量的衰减未将它确切地处置为噪声，则通过将它处置为介于期望的语音与噪声之间的某物。这能够通过对非期望的方向使用略微不同的衰减函数来实现。
附加的信息可以替换地是角度它本身，从所述角度当前帧的主信号分量在音频输入装置处被接收到，即在线路407上被供应给噪声降低级227的φ。随着音频源远离(一个或多个)主方向移动这使得噪声降低级能够应用较多衰减。
在这个第二办法中，当噪声降低级227能够在仅将帧处置为噪声和将帧处置为如单通道噪声降低方法中照惯例完成的那样的两个极端之间操作时更多粒度被提供。因此对于从不希望有的方向到达的音频信号，能够使噪声降低级227略微更进取些，而不用完全地处置它好像它只是噪声。也就是说，在我们例如将对语音信号应用一些衰减的意义上是进取的。
虽然上面所描述的实施已经涉及了从单个用户102接收音频信号的麦克风208，但是将理解的是，麦克风可以例如在会议呼叫中从多个用户接收音频信号。在这个场景中所需音频信号的多个源到达麦克风208。
虽然已经参考优选实施例具体地示出并且描述了本发明，但是本领域的技术人员将理解，在不背离如由所附权利要求所限定的本发明的范围的情况下可以做出形式和细节上的各种改变。

Claims (10)

1. 一种在用户设备与远程节点之间的通信会话期间处理音频信号的方法，所述方法包括：
在所述用户设备处的音频输入装置处接收包括至少一个基本音频信号和不需要的信号的多个音频信号；
在噪声抑制装置处接收所述音频信号的到达方向的信息；
将表示所述不需要的信号中的至少一些的已知的到达方向的信息提供给所述噪声抑制装置；以及
在所述噪声抑制装置处处理所述音频信号以基于所述音频信号的到达方向的信息与已知的到达方向的信息之间的比较，将识别为不需要的所述信号的部分对待为噪声识别。
2. 根据权利要求1的方法，其中所述音频输入装置包括波束形成器，所述波束形成器被布置成：
估计所述至少一个基本音频信号在所述音频输入装置处被从其接收到的至少一个主方向；以及
处理所述多个音频信号以通过在所述至少一个主方向上形成波束并且基本上抑制来自除所述主方向以外的任何方向的音频信号来生成单通道音频输出信号，其中所述单通道音频输出信号包括帧的序列，所述噪声抑制装置处理序列中的所述帧中的每一个。
3. 根据任一前述权利要求的方法，其中针对正被处理的当前帧的主信号分量的信息的到达的方向在所述噪声抑制装置处被接收到，所述方法进一步包括：
比较针对所述当前帧的所述主信号分量的信息的到达的方向和已知的到达方向的信息，其中已知的到达方向的信息包括以下各项中的至少一个：(i)远端信号在所述音频输入装置处被从其接收到的至少一个方向；(ii)至少一个已分类的方向，所述至少一个已分类的方向是至少一个不需要的音频信号从其到达所述音频输入装置并且基于所述至少一个不需要的音频信号的信号特性被识别的方向；(iii)所述至少一个基本音频信号在所述音频输入装置处被从其接收到的至少一个主方向；以及(iv)所述波束形成器的波束方向图。
4. 根据权利要求3的方法，进一步包括：
基于所述比较来确定所述当前帧的所述主信号分量是否是不需要的信号；
如果确定所述当前帧的所述主信号分量是不需要的信号则对正被处理的所述当前帧应用最大衰减；并且如果发生以下情况则确定所述当前帧的所述主信号分量是不需要的信号：
所述主信号分量在所述音频输入装置处被接收自远端信号在所述音频输入装置处被从其接收到的所述至少一个方向；或者
所述主信号分量在所述音频输入装置处被从所述至少一个已分类的方向接收到；或者
所述主信号分量在所述音频输入装置处未被从所述至少一个主方向接收到。
5. 根据权利要求3的方法，进一步包括：
在信号处理装置处接收所述多个音频信号和关于所述至少一个主方向的信息；
在所述信号处理装置处使用关于所述至少一个主方向的所述信息来处理所述多个音频信号以将附加的信息提供给所述噪声抑制装置；以及
取决于所述附加的信息和所述比较对在所述噪声抑制装置处正被处理的所述当前帧应用一定水平的衰减，其中所述附加的信息包括以下各项中的一个：(i)关于所述当前帧的所述主信号分量的合意性的指示，(ii)所述当前帧的所述主信号分量相对于所述至少一个基本音频信号的平均功率电平的功率电平；(iii)所述当前帧的所述主信号分量的信号分类；以及(iv)所述当前帧的所述主信号分量在所述音频输入装置处被从其接收到的至少一个方向。
6. 根据权利要求4至8中任一项的方法，进一步包括：
在信号处理装置处接收所述单通道音频输出信号和关于所述至少一个主方向的信息；
在所述信号处理装置处使用关于所述至少一个主方向的所述信息来处理所述单通道音频输出信号以将附加的信息提供给所述噪声抑制装置；以及
取决于所述附加的信息和所述比较对在所述噪声抑制装置处正被处理的所述当前帧应用一定水平的衰减，其中所述附加的信息包括以下各项中的一个：(i)关于所述当前帧的所述主信号分量的合意性的指示，(ii)所述当前帧的所述主信号分量相对于所述至少一个基本音频信号的平均功率电平的功率电平；(iii)所述当前帧的所述主信号分量的信号分类；以及(iv)所述当前帧的所述主信号分量在所述音频输入装置处被从其接收到的至少一个方向。
7. 根据权利要求2至6中任一项的方法，其中所述至少一个主方向通过以下各项来确定：
确定使在所述音频输入装置处正被接收的所述音频信号之间的交叉相关最大化的时间延迟；以及
用最大交叉相关的所述时间延迟来检测在所述音频输入装置处接收到的所述音频信号中的语音特性。
8. 根据任一前述权利要求的方法，其中所述不需要的信号由在所述用户设备外部的源或在所述用户设备处的源来生成，所述源包括以下各项中的至少一个：所述用户设备的音频输出装置；在所述用户设备处的活动的源，其中所述活动包括点击活动，所述点击活动包括按钮点击活动、键盘点击活动以及鼠标点击活动。
9. 一种用于在用户设备与远程节点之间的通信会话期间处理音频信号的用户设备，所述用户设备包括：
音频输入装置，其用于接收包括至少一个基本音频信号和不需要的信号的多个音频信号；以及
噪声抑制装置，其用于接收所述音频信号的到达方向的信息和表示所述不需要的信号中的至少一些的已知的到达方向的信息，所述噪声抑制装置被配置成通过基于所述音频信号的到达方向的信息与已知的到达方向的信息之间的比较将识别为不需要的所述信号的部分对待为噪声来处理所述音频信号识别。
10. 一种计算机程序产品，其包括用于由在用户设备处的计算机处理装置执行以用于在所述用户设备与远程节点之间的通信会话期间处理音频信号的计算机可读指令，所述指令包括用于完成根据权利要求1至8中任一项的方法的指令。
CN201280043129.XA 2011-07-05 2012-07-05 处理音频信号 Active CN103827966B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
GB1111474.1A GB2493327B (en) 2011-07-05 2011-07-05 Processing audio signals
GB1111474.1 2011-07-05
US13/212,688 US9269367B2 (en) 2011-07-05 2011-08-18 Processing audio signals during a communication event
US13/212688 2011-08-18
PCT/US2012/045556 WO2013006700A2 (en) 2011-07-05 2012-07-05 Processing audio signals

Publications (2)

Publication Number Publication Date
CN103827966A true CN103827966A (zh) 2014-05-28
CN103827966B CN103827966B (zh) 2018-05-08

Family

ID=44512127

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280043129.XA Active CN103827966B (zh) 2011-07-05 2012-07-05 处理音频信号

Country Status (7)

Country Link
US (1) US9269367B2 (zh)
EP (1) EP2715725B1 (zh)
JP (1) JP2014523003A (zh)
KR (1) KR101970370B1 (zh)
CN (1) CN103827966B (zh)
GB (1) GB2493327B (zh)
WO (1) WO2013006700A2 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106251878A (zh) * 2016-08-26 2016-12-21 彭胜 会务语音录入设备
CN108780523A (zh) * 2016-03-18 2018-11-09 高通股份有限公司 使用本地设备提供的传感器数据和标签的基于云的处理

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012252240A (ja) * 2011-06-06 2012-12-20 Sony Corp 再生装置、信号処理装置、信号処理方法
GB2495130B (en) 2011-09-30 2018-10-24 Skype Processing audio signals
GB2495278A (en) 2011-09-30 2013-04-10 Skype Processing received signals from a range of receiving angles to reduce interference
GB2495131A (en) 2011-09-30 2013-04-03 Skype A mobile device includes a received-signal beamformer that adapts to motion of the mobile device
GB2495129B (en) 2011-09-30 2017-07-19 Skype Processing signals
GB2495128B (en) 2011-09-30 2018-04-04 Skype Processing signals
GB2495472B (en) 2011-09-30 2019-07-03 Skype Processing audio signals
GB2496660B (en) 2011-11-18 2014-06-04 Skype Processing audio signals
GB201120392D0 (en) 2011-11-25 2012-01-11 Skype Ltd Processing signals
JP6267860B2 (ja) * 2011-11-28 2018-01-24 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 音声信号送信装置、音声信号受信装置及びその方法
GB2497343B (en) 2011-12-08 2014-11-26 Skype Processing audio signals
US9881616B2 (en) * 2012-06-06 2018-01-30 Qualcomm Incorporated Method and systems having improved speech recognition
US9813262B2 (en) 2012-12-03 2017-11-07 Google Technology Holdings LLC Method and apparatus for selectively transmitting data using spatial diversity
US9979531B2 (en) 2013-01-03 2018-05-22 Google Technology Holdings LLC Method and apparatus for tuning a communication device for multi band operation
US10229697B2 (en) * 2013-03-12 2019-03-12 Google Technology Holdings LLC Apparatus and method for beamforming to obtain voice and noise signals
JP6446913B2 (ja) * 2014-08-27 2019-01-09 富士通株式会社 音声処理装置、音声処理方法及び音声処理用コンピュータプログラム
CN105763956B (zh) * 2014-12-15 2018-12-14 华为终端（东莞）有限公司 视频聊天中录音的方法和终端
WO2016209295A1 (en) * 2015-06-26 2016-12-29 Harman International Industries, Incorporated Sports headphone with situational awareness
US9646628B1 (en) * 2015-06-26 2017-05-09 Amazon Technologies, Inc. Noise cancellation for open microphone mode
US9407989B1 (en) 2015-06-30 2016-08-02 Arthur Woodrow Closed audio circuit
CN105280195B (zh) * 2015-11-04 2018-12-28 腾讯科技（深圳）有限公司 语音信号的处理方法及装置
US10127920B2 (en) 2017-01-09 2018-11-13 Google Llc Acoustic parameter adjustment
US20180218747A1 (en) * 2017-01-28 2018-08-02 Bose Corporation Audio Device Filter Modification
US10602270B1 (en) 2018-11-30 2020-03-24 Microsoft Technology Licensing, Llc Similarity measure assisted adaptation control
US10811032B2 (en) * 2018-12-19 2020-10-20 Cirrus Logic, Inc. Data aided method for robust direction of arrival (DOA) estimation in the presence of spatially-coherent noise interferers

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040213419A1 (en) * 2003-04-25 2004-10-28 Microsoft Corporation Noise reduction systems and methods for voice applications
CN1753084A (zh) * 2004-09-23 2006-03-29 哈曼贝克自动系统股份有限公司 使用噪声降低的多通道自适应语音信号处理
CN1953059A (zh) * 2006-11-24 2007-04-25 北京中星微电子有限公司 一种噪声消除装置和方法
CN101625871A (zh) * 2008-07-11 2010-01-13 富士通株式会社 噪声抑制装置、噪声抑制方法以及移动电话机
CN101727909A (zh) * 2008-10-10 2010-06-09 三星电子株式会社 噪声估计的设备和方法以及使用该设备和方法的降噪设备
WO2010098546A2 (ko) * 2009-02-27 2010-09-02 고려대학교 산학협력단 오디오 및 비디오 정보를 이용한 시공간 음성 구간 검출 방법 및 장치
US20110038489A1 (en) * 2008-10-24 2011-02-17 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for coherence detection

Family Cites Families (104)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3313918A (en) 1964-08-04 1967-04-11 Gen Electric Safety means for oven door latching mechanism
DE2753278A1 (de) 1977-11-30 1979-05-31 Basf Ag Aralkylpiperidinone
US4849764A (en) 1987-08-04 1989-07-18 Raytheon Company Interference source noise cancelling beamformer
DE69011709T2 (de) 1989-03-10 1994-12-15 Nippon Telegraph & Telephone Einrichtung zur Feststellung eines akustischen Signals.
FR2682251B1 (fr) 1991-10-02 1997-04-25 Prescom Sarl Procede et systeme de prise de son, et appareil de prise et de restitution de son.
US5542101A (en) 1993-11-19 1996-07-30 At&T Corp. Method and apparatus for receiving signals in a multi-path environment
US6157403A (en) 1996-08-05 2000-12-05 Kabushiki Kaisha Toshiba Apparatus for detecting position of object capable of simultaneously detecting plural objects and detection method therefor
US6232918B1 (en) 1997-01-08 2001-05-15 Us Wireless Corporation Antenna array calibration in wireless communication systems
US6549627B1 (en) 1998-01-30 2003-04-15 Telefonaktiebolaget Lm Ericsson Generating calibration signals for an adaptive beamformer
JP4163294B2 (ja) * 1998-07-31 2008-10-08 株式会社東芝 雑音抑圧処理装置および雑音抑圧処理方法
US6049607A (en) 1998-09-18 2000-04-11 Lamar Signal Processing Interference canceling method and apparatus
DE19943872A1 (de) 1999-09-14 2001-03-15 Thomson Brandt Gmbh Vorrichtung zur Anpassung der Richtcharakteristik von Mikrofonen für die Sprachsteuerung
EP1254513A4 (en) 1999-11-29 2009-11-04 Syfx SYSTEMS AND METHODS FOR SIGNAL PROCESSING
ATE370608T1 (de) 2000-05-26 2007-09-15 Koninkl Philips Electronics Nv Verfahren und gerät zur akustischen echounterdrückung mit adaptiver strahlbildung
US6885338B2 (en) 2000-12-29 2005-04-26 Lockheed Martin Corporation Adaptive digital beamformer coefficient processor for satellite signal interference reduction
JP2004537233A (ja) 2001-07-20 2004-12-09 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ エコー抑圧回路及びラウドスピーカ・ビームフォーマを有する音響補強システム
US20030059061A1 (en) 2001-09-14 2003-03-27 Sony Corporation Audio input unit, audio input method and audio input and output unit
JP3812887B2 (ja) * 2001-12-21 2006-08-23 富士通株式会社 信号処理システムおよび方法
US8098844B2 (en) 2002-02-05 2012-01-17 Mh Acoustics, Llc Dual-microphone spatial noise suppression
JP4195267B2 (ja) 2002-03-14 2008-12-10 インターナショナル・ビジネス・マシーンズ・コーポレーション 音声認識装置、その音声認識方法及びプログラム
JP4161628B2 (ja) 2002-07-19 2008-10-08 日本電気株式会社 エコー抑圧方法及び装置
US8233642B2 (en) 2003-08-27 2012-07-31 Sony Computer Entertainment Inc. Methods and apparatuses for capturing an audio signal based on a location of the signal
CA2469674C (en) 2002-09-19 2012-04-24 Matsushita Electric Industrial Co., Ltd. Audio decoding apparatus and method
US6914854B1 (en) 2002-10-29 2005-07-05 The United States Of America As Represented By The Secretary Of The Army Method for detecting extended range motion and counting moving objects using an acoustics microphone array
US6990193B2 (en) 2002-11-29 2006-01-24 Mitel Knowledge Corporation Method of acoustic echo cancellation in full-duplex hands free audio conferencing with spatial directivity
CA2413217C (en) 2002-11-29 2007-01-16 Mitel Knowledge Corporation Method of acoustic echo cancellation in full-duplex hands free audio conferencing with spatial directivity
CN100534001C (zh) 2003-02-07 2009-08-26 日本电信电话株式会社 声音获取方法和声音获取装置
WO2004071130A1 (ja) 2003-02-07 2004-08-19 Nippon Telegraph And Telephone Corporation 収音方法及び収音装置
GB0321722D0 (en) 2003-09-16 2003-10-15 Mitel Networks Corp A method for optimal microphone array design under uniform acoustic coupling constraints
CN100488091C (zh) 2003-10-29 2009-05-13 中兴通讯股份有限公司 应用于cdma系统中的固定波束成形装置及其方法
US7426464B2 (en) 2004-07-15 2008-09-16 Bitwave Pte Ltd. Signal processing apparatus and method for reducing noise and interference in speech communication and speech recognition
US20060031067A1 (en) 2004-08-05 2006-02-09 Nissan Motor Co., Ltd. Sound input device
ATE413769T1 (de) 2004-09-03 2008-11-15 Harman Becker Automotive Sys Sprachsignalverarbeitung für die gemeinsame adaptive reduktion von störgeräuschen und von akustischen echos
US20070230712A1 (en) 2004-09-07 2007-10-04 Koninklijke Philips Electronics, N.V. Telephony Device with Improved Noise Suppression
JP2006109340A (ja) 2004-10-08 2006-04-20 Yamaha Corp 音響システム
US7983720B2 (en) 2004-12-22 2011-07-19 Broadcom Corporation Wireless telephone with adaptive microphone array
KR20060089804A (ko) 2005-02-04 2006-08-09 삼성전자주식회사 다중입출력 시스템을 위한 전송방법
JP4805591B2 (ja) 2005-03-17 2011-11-02 富士通株式会社 電波到来方向の追尾方法及び電波到来方向追尾装置
DE602005008914D1 (de) 2005-05-09 2008-09-25 Mitel Networks Corp Verfahren und System zum Reduzieren der Trainingszeit eines akustischen Echokompensators in einem Vollduplexaudiokonferenzsystem durch akustische Strahlbildung
JP2006319448A (ja) 2005-05-10 2006-11-24 Yamaha Corp 拡声システム
US8116485B2 (en) 2005-05-16 2012-02-14 Qnx Software Systems Co Adaptive gain control system
JP2006333069A (ja) 2005-05-26 2006-12-07 Hitachi Ltd 移動体用アンテナ制御装置およびアンテナ制御方法
JP2007006264A (ja) 2005-06-24 2007-01-11 Toshiba Corp ダイバーシチ受信機
WO2007029536A1 (ja) 2005-09-02 2007-03-15 Nec Corporation 雑音抑圧の方法及び装置並びにコンピュータプログラム
NO323434B1 (no) 2005-09-30 2007-04-30 Squarehead System As System og metode for a produsere et selektivt lydutgangssignal
KR100749451B1 (ko) 2005-12-02 2007-08-14 한국전자통신연구원 Ｏｆｄｍ 기지국 시스템에서의 스마트 안테나 빔 형성 방법및 장치
CN1809105B (zh) 2006-01-13 2010-05-12 北京中星微电子有限公司 适用于小型移动通信设备的双麦克语音增强方法及系统
JP4771311B2 (ja) 2006-02-09 2011-09-14 オンセミコンダクター・トレーディング・リミテッド フィルタ係数設定装置、フィルタ係数設定方法、及びプログラム
WO2007127182A2 (en) * 2006-04-25 2007-11-08 Incel Vision Inc. Noise reduction system and method
JP2007318438A (ja) 2006-05-25 2007-12-06 Yamaha Corp 音声状況データ生成装置、音声状況可視化装置、音声状況データ編集装置、音声データ再生装置、および音声通信システム
JP4747949B2 (ja) 2006-05-25 2011-08-17 ヤマハ株式会社 音声会議装置
US8000418B2 (en) 2006-08-10 2011-08-16 Cisco Technology, Inc. Method and system for improving robustness of interference nulling for antenna arrays
JP4910568B2 (ja) * 2006-08-25 2012-04-04 株式会社日立製作所 紙擦れ音除去装置
RS49875B (sr) 2006-10-04 2008-08-07 Micronasnit, Sistem i postupak za slobodnu govornu komunikaciju pomoću mikrofonskog niza
EP1919251B1 (en) 2006-10-30 2010-09-01 Mitel Networks Corporation Beamforming weights conditioning for efficient implementations of broadband beamformers
CN101193460B (zh) 2006-11-20 2011-09-28 松下电器产业株式会社 检测声音的装置及方法
US7945442B2 (en) 2006-12-15 2011-05-17 Fortemedia, Inc. Internet communication device and method for controlling noise thereof
KR101365988B1 (ko) 2007-01-05 2014-02-21 삼성전자주식회사 지향성 스피커 시스템의 자동 셋-업 방법 및 장치
JP4799443B2 (ja) 2007-02-21 2011-10-26 株式会社東芝 受音装置及びその方法
US8005238B2 (en) * 2007-03-22 2011-08-23 Microsoft Corporation Robust adaptive beamforming with enhanced noise suppression
US20090010453A1 (en) 2007-07-02 2009-01-08 Motorola, Inc. Intelligent gradient noise reduction system
JP4854630B2 (ja) 2007-09-13 2012-01-18 富士通株式会社 音処理装置、利得制御装置、利得制御方法及びコンピュータプログラム
US8391522B2 (en) 2007-10-16 2013-03-05 Phonak Ag Method and system for wireless hearing assistance
KR101437830B1 (ko) * 2007-11-13 2014-11-03 삼성전자주식회사 음성 구간 검출 방법 및 장치
US8379891B2 (en) 2008-06-04 2013-02-19 Microsoft Corporation Loudspeaker array design
NO328622B1 (no) 2008-06-30 2010-04-06 Tandberg Telecom As Anordning og fremgangsmate for reduksjon av tastaturstoy i konferanseutstyr
EP2146519B1 (en) 2008-07-16 2012-06-06 Nuance Communications, Inc. Beamforming pre-processing for speaker localization
JP5339501B2 (ja) * 2008-07-23 2013-11-13 インターナショナル・ビジネス・マシーンズ・コーポレーション 音声収集方法、システム及びプログラム
JP5206234B2 (ja) 2008-08-27 2013-06-12 富士通株式会社 雑音抑圧装置、携帯電話機、雑音抑圧方法及びコンピュータプログラム
KR101178801B1 (ko) * 2008-12-09 2012-08-31 한국전자통신연구원 음원분리 및 음원식별을 이용한 음성인식 장치 및 방법
CN101685638B (zh) 2008-09-25 2011-12-21 华为技术有限公司 一种语音信号增强方法及装置
US8401178B2 (en) 2008-09-30 2013-03-19 Apple Inc. Multiple microphone switching and configuration
US8218397B2 (en) * 2008-10-24 2012-07-10 Qualcomm Incorporated Audio source proximity estimation using sensor array for noise reduction
US8150063B2 (en) 2008-11-25 2012-04-03 Apple Inc. Stabilizing directional audio input from a moving microphone array
EP2197219B1 (en) 2008-12-12 2012-10-24 Nuance Communications, Inc. Method for determining a time delay for time delay compensation
US8401206B2 (en) 2009-01-15 2013-03-19 Microsoft Corporation Adaptive beamformer using a log domain optimization criterion
EP2222091B1 (en) 2009-02-23 2013-04-24 Nuance Communications, Inc. Method for determining a set of filter coefficients for an acoustic echo compensation means
US20100217590A1 (en) 2009-02-24 2010-08-26 Broadcom Corporation Speaker localization system and method
JP5197458B2 (ja) 2009-03-25 2013-05-15 株式会社東芝 受音信号処理装置、方法およびプログラム
EP2237271B1 (en) 2009-03-31 2021-01-20 Cerence Operating Company Method for determining a signal component for reducing noise in an input signal
US8249862B1 (en) 2009-04-15 2012-08-21 Mediatek Inc. Audio processing apparatuses
JP5207479B2 (ja) * 2009-05-19 2013-06-12 国立大学法人 奈良先端科学技術大学院大学 雑音抑圧装置およびプログラム
US8620672B2 (en) 2009-06-09 2013-12-31 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for phase-based processing of multichannel signal
US8174932B2 (en) 2009-06-11 2012-05-08 Hewlett-Packard Development Company, L.P. Multimodal object localization
FR2948484B1 (fr) 2009-07-23 2011-07-29 Parrot Procede de filtrage des bruits lateraux non-stationnaires pour un dispositif audio multi-microphone, notamment un dispositif telephonique "mains libres" pour vehicule automobile
US8644517B2 (en) 2009-08-17 2014-02-04 Broadcom Corporation System and method for automatic disabling and enabling of an acoustic beamformer
FR2950461B1 (fr) * 2009-09-22 2011-10-21 Parrot Procede de filtrage optimise des bruits non stationnaires captes par un dispositif audio multi-microphone, notamment un dispositif telephonique "mains libres" pour vehicule automobile
CN101667426A (zh) 2009-09-23 2010-03-10 中兴通讯股份有限公司 一种消除环境噪声的装置及方法
EP2339574B1 (en) 2009-11-20 2013-03-13 Nxp B.V. Speech detector
TWI415117B (zh) 2009-12-25 2013-11-11 Univ Nat Chiao Tung 使用在麥克風陣列之消除殘響與減低噪音方法及其裝置
CN102111697B (zh) 2009-12-28 2015-03-25 歌尔声学股份有限公司 一种麦克风阵列降噪控制方法及装置
US8219394B2 (en) 2010-01-20 2012-07-10 Microsoft Corporation Adaptive ambient sound suppression and speech tracking
US8525868B2 (en) * 2011-01-13 2013-09-03 Qualcomm Incorporated Variable beamforming with a mobile platform
GB2491173A (en) 2011-05-26 2012-11-28 Skype Setting gain applied to an audio signal based on direction of arrival (DOA) information
US9226088B2 (en) 2011-06-11 2015-12-29 Clearone Communications, Inc. Methods and apparatuses for multiple configurations of beamforming microphone arrays
GB2495130B (en) 2011-09-30 2018-10-24 Skype Processing audio signals
GB2495278A (en) 2011-09-30 2013-04-10 Skype Processing received signals from a range of receiving angles to reduce interference
GB2495128B (en) 2011-09-30 2018-04-04 Skype Processing signals
GB2495472B (en) 2011-09-30 2019-07-03 Skype Processing audio signals
GB2495129B (en) 2011-09-30 2017-07-19 Skype Processing signals
GB2495131A (en) 2011-09-30 2013-04-03 Skype A mobile device includes a received-signal beamformer that adapts to motion of the mobile device
GB2496660B (en) 2011-11-18 2014-06-04 Skype Processing audio signals
GB201120392D0 (en) 2011-11-25 2012-01-11 Skype Ltd Processing signals
GB2497343B (en) 2011-12-08 2014-11-26 Skype Processing audio signals

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040213419A1 (en) * 2003-04-25 2004-10-28 Microsoft Corporation Noise reduction systems and methods for voice applications
CN1753084A (zh) * 2004-09-23 2006-03-29 哈曼贝克自动系统股份有限公司 使用噪声降低的多通道自适应语音信号处理
CN1953059A (zh) * 2006-11-24 2007-04-25 北京中星微电子有限公司 一种噪声消除装置和方法
CN101625871A (zh) * 2008-07-11 2010-01-13 富士通株式会社 噪声抑制装置、噪声抑制方法以及移动电话机
CN101727909A (zh) * 2008-10-10 2010-06-09 三星电子株式会社 噪声估计的设备和方法以及使用该设备和方法的降噪设备
US20110038489A1 (en) * 2008-10-24 2011-02-17 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for coherence detection
WO2010098546A2 (ko) * 2009-02-27 2010-09-02 고려대학교 산학협력단 오디오 및 비디오 정보를 이용한 시공간 음성 구간 검출 방법 및 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108780523A (zh) * 2016-03-18 2018-11-09 高通股份有限公司 使用本地设备提供的传感器数据和标签的基于云的处理
CN108780523B (zh) * 2016-03-18 2022-05-03 高通股份有限公司 使用本地设备提供的传感器数据和标签的基于云的处理
CN106251878A (zh) * 2016-08-26 2016-12-21 彭胜 会务语音录入设备

Also Published As

Publication number Publication date
EP2715725A2 (en) 2014-04-09
EP2715725B1 (en) 2019-04-24
GB201111474D0 (en) 2011-08-17
CN103827966B (zh) 2018-05-08
JP2014523003A (ja) 2014-09-08
GB2493327A (en) 2013-02-06
WO2013006700A3 (en) 2013-06-06
US9269367B2 (en) 2016-02-23
US20130013303A1 (en) 2013-01-10
KR101970370B1 (ko) 2019-04-18
WO2013006700A2 (en) 2013-01-10
GB2493327B (en) 2018-06-06
KR20140033488A (ko) 2014-03-18

Similar Documents

Publication Publication Date Title
CN103827966A (zh) 处理音频信号
US10546593B2 (en) Deep learning driven multi-channel filtering for speech enhancement
US10602267B2 (en) Sound signal processing apparatus and method for enhancing a sound signal
CN108899044B (zh) 语音信号处理方法及装置
CN111489760B (zh) 语音信号去混响处理方法、装置、计算机设备和存储介质
JP6703525B2 (ja) 音源を強調するための方法及び機器
CN104488224A (zh) 处理音频信号
GB2495472B (en) Processing audio signals
CN108447496B (zh) 一种基于麦克风阵列的语音增强方法及装置
JP5772151B2 (ja) 音源分離装置、プログラム及び方法
EP4044181A1 (en) Deep learning speech extraction and noise reduction method fusing signals of bone vibration sensor and microphone
CN110012331A (zh) 一种红外触发的远场双麦远场语音识别方法
CN110610718A (zh) 一种提取期望声源语音信号的方法及装置
CN115482830B (zh) 语音增强方法及相关设备
CN117480554A (zh) 语音增强方法及相关设备
KR101946434B1 (ko) 화상 채팅의 녹화 방법 및 단말
US10897665B2 (en) Method of decreasing the effect of an interference sound and sound playback device
JP6230969B2 (ja) 音声収音システム、ホスト装置及びプログラム
CN110121890B (zh) 处理音频信号的方法和装置及计算机可读介质
JP2019537071A (ja) 分散したマイクロホンからの音声の処理
CN113628633A (zh) 用于企业多方会晤的多通道信息传输的降噪方法
CN117793254A (zh) 一种多路音频处理方法、装置及终端
WO2023117272A1 (en) Noise cancellation
CN117079661A (zh) 一种声源处理方法及相关装置
CN112911465A (zh) 信号发送方法、装置及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150703

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150703

Address after: Washington State

Applicant after: Micro soft technique license Co., Ltd

Address before: Washington State

Applicant before: Microsoft Corp.

GR01 Patent grant
GR01 Patent grant