CN105027541B - 基于内容的噪声抑制 - Google Patents
基于内容的噪声抑制 Download PDFInfo
- Publication number
- CN105027541B CN105027541B CN201480010777.4A CN201480010777A CN105027541B CN 105027541 B CN105027541 B CN 105027541B CN 201480010777 A CN201480010777 A CN 201480010777A CN 105027541 B CN105027541 B CN 105027541B
- Authority
- CN
- China
- Prior art keywords
- signal
- audio signal
- content
- noise
- noise signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
- G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M9/00—Arrangements for interconnection not involving centralised switching
- H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
- H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
Abstract
本发明揭示用于音频噪声衰减的设备和方法。音频信号分析器可确定从麦克风装置接收的输入音频信号是否包含具有可识别的内容的噪声信号。如果存在具有可识别的内容的噪声信号,那么存取内容源以获得所述噪声信号的副本。音频消除器可基于比较所述噪声信号的所述副本与所述输入音频信号来产生具有衰减的噪声信号的经处理的音频信号。另外或替代地,可在通信信道上将数据传递到单独媒体装置以从所述单独媒体装置接收所述噪声信号的所述副本的至少一部分,或接收对应于所述内容源的内容识别数据。
Description
技术领域
以下描述是针对音频信号处理。明确地说,描述是针对音频噪声抑制。
背景技术
部分归因于电池、处理和通信技术的进展,个人装置已变得日益移动、强大且被连接。随着这些技术进展,用户在他们可使用其装置且与其装置交互的方式方面具有更大灵活性。明确地说,移动装置可使用语音辨识来允许用户用语音命令控制移动装置。此外,对于语音辨识和语音遥测,用户想要移动装置在多种环境(包含声学严酷环境)中正常地操作。
已使用各种噪声抑制方案来减少或减轻当用户正与移动装置交互时的背景噪声的不利影响。频率选择性滤波(例如)可用以抑制与某些频带相关联的噪声。其它噪声抑制方案使用统计模型抑制在统计上与噪声有关或在统计上与打算的音频信号不相关的所捕获音频信号的某些方面。又其它噪声抑制方案使用内部信号消除从由移动装置产生且然后感测的声音产生的噪声(例如,回声噪声)。
发明内容
本发明的系统、方法和装置各自具有若干方面,其中无单一方面单独地负责其合乎需要的属性。在不限制如由以下权利要求书表达的本发明的范围的情况下,现在将简洁地论述一些特征。在考虑此论述之后,并且尤其在阅读了标题为“具体实施方式”的章节之后,人们将理解本发明的特征如何提供包含减少背景噪声以改善音频处理的优势。
一个实施例为一种衰减音频噪声的装置。所述装置可包含麦克风,其经配置以接收输入音频信号。所述装置还可包含音频信号分析器,其经配置以确定所述输入音频信号是否包含具有可识别的内容的噪声信号。如果存在具有可识别的内容的噪声信号,那么所述音频信号分析器可存取内容源以获得所述噪声信号的副本。所述装置还可包含音频消除器,其经配置以基于比较所述噪声信号的所述副本与所述输入音频信号来产生具有衰减的噪声信号的经处理的音频信号。
另一实施例为一种衰减音频噪声的方法。所述方法可包含接收输入音频信号。所述方法还可包含确定所述输入音频信号是否包含具有可识别的内容的噪声信号。如果存在具有可识别的内容的噪声信号,那么所述方法可包含存取内容源以获得所述噪声信号的副本。所述方法可更包含基于比较所述噪声信号的所述副本与所述输入音频信号来产生具有衰减的噪声信号的经处理的音频信号。
再一实施例为一种非暂时性计算机可读媒体,其存储在经执行时使处理器执行方法的指令。所述方法包含接收输入音频信号,和确定所述输入音频信号是否包含具有可识别的内容的噪声信号。如果存在具有可识别的内容的噪声信号,那么所述方法包含存取内容源以获得所述噪声信号的副本。所述方法更包含基于比较所述噪声信号的所述副本与所述输入音频信号来产生具有衰减的噪声信号的经处理的音频信号。
附图说明
图1为根据一个实施例的包含移动电话以抑制来自一或多个媒体装置的噪声的音频系统的框示意图。
图2为抑制音频噪声的音频处理装置的说明性实施例的框图。
图3为由图2的音频处理装置实施的音频信号分析器的特定说明性实施例的框图。
图4为由图2的音频处理装置实施的音频消除器系统的特定说明性实施例的框图。
图5为由图2的音频处理装置实施的音频消除器系统的特定说明性实施例的框图。
图6为根据各种实施例的音频噪声抑制的方法的流程图。
图7A为根据一个实施例的用于确定音频输入信号是否包含具有可识别的内容的噪声的实例方法的说明性流程图。
图7B为根据一个实施例的用于存取内容源以获得源信号的实例方法的说明性流程图。
图8为根据实施例的用于衰减音频噪声的实例方法的说明性流程图。
图9为根据实施例的音频噪声抑制的特定说明性方法的流程图。
具体实施方式
实施例涉及用于抑制由电子装置接收的音频信号中的不想要的音频噪声的系统和方法。在一个实施例中,系统抑制表示可鉴别的媒体内容(例如,正在背景中播放的流行歌曲)的音频噪声。所述系统可获得媒体内容的副本,从媒体内容的副本产生不想要的音频噪声的副本,且从音频信号去除不想要的音频噪声。例如,在操作中,系统确定不想要的音频噪声的声学图案或指纹且使用所述图案识别由音频噪声表示的媒体内容(例如,特定歌曲)。可使用身份来搜索媒体内容源,例如,经识别的歌曲的数字记录。一旦歌曲经识别,可将歌曲的副本下载到电子装置,且接着用以从音频信号减去那首歌。在一个实施例中,所述系统可由便携式计算装置(例如,蜂窝式电话)实施。例如,蜂窝式电话可在电话会话期间抑制在背景中播放的歌曲或其它媒体内容。
在一个特定实例中,所述系统可由具有麦克风的蜂窝式电话和存储于电话的存储器中数字音乐库实施。当人在播放特定歌曲的收音机附近在电话上谈话时,系统可从麦克风的音频信号提取音频特征以显现那首歌的声学图案或指纹。显现的图案可接着用以搜索含有由这些声学图案索引以找到正由收音机播放的歌曲的歌曲身份的数据库。如果歌曲身份匹配图案,那么电话可接着针对经识别的歌曲的副本搜索其音乐库。替代地,电话可经由网络连接请求来自服务器的经识别的歌曲的副本。一旦经存取,可将歌曲的副本同步化到歌曲的时间位置(当其在收音机上播放时)以抑制来自接收到的音频信号的歌曲。具有此系统的电话将允许用户在对于电话会话将另外过于声学严酷的区域(例如,室外音乐场馆或音乐会大厅)中操作电话。
在另一特定实例中,噪声抑制系统可由控制具有无线通信能力的单独媒体装置(例如,电视(TV))的语音控制的遥控器实施。所述控制器可直接从TV接收内容信息。例如,TV可传递正对遥控器显示的作用中频道,且遥控器可使用那个信息通过因特网连接存取频道的音频。替代地,TV可将广播的副本发送到遥控器。遥控器可又使用广播的副本消除由TV产生的音频。此将允许语音控制的电子装置通过产生音频的媒体装置来起作用。
揭示的方法、设备和系统可用以改善现有的噪声抑制技术。具体来说,在一些情形中,在估计和/或识别了音频噪声的内容后,可发现音频噪声为实质上确定性的。借助于说明,一个此情形为预先记录的歌曲为噪声源。在此情况下,如果(例如)已知正在播放一首歌曲、何特定歌曲和歌曲的特定时序,那么歌曲可为实质上确定性的。如果与以上内容有关的信息已知或可识别,那么可使用歌曲或音频信号的副本来衰减或消除音频信号对应于歌曲的分量。以此方式对歌曲的抑制可改善经由移动装置的语音辨识或话音通信的质量。
媒体装置的实例包含电视、收音机、膝上型计算机/上网本计算机、平板计算机、桌上型计算机和经配置以播放媒体内容(包含音频媒体内容)的类似电子装置。音频媒体内容的实例包含表示音乐、视频和具有音频的其它类似媒体的数据或信号。
为了进一步说明,图1展示包含经配置以抑制来自一或多个媒体装置的噪声的移动电话102的特定音频配置100的框图。明确地说,移动电话102具有麦克风104和天线106。移动电话102可将语音和数据信号传递到网络108或其它电子装置。网络108可为有线或无线网络,且可提供对存储各种内容源(例如,音乐和音频视频数据文件)的一或多个内容数据库110的存取。在一个实施例中,网络为因特网。
在操作中,用户112对用于(例如)话音通信和/或语音辨识的移动电话102的麦克风104讲话,以控制移动电话102或控制通信耦合到移动电话102的其它电子装置。移动电话102的麦克风104捕获用户的语音命令114以产生输入音频信号。在一些情形中,移动电话102可最紧密接近单独媒体装置,例如,具备联网功能的电视(TV)116或收音机118。这些装置可产生充当关于移动电话102的操作的不想要的背景音频噪声的背景声音120、122。
例如,具备网络功能的TV 116或收音机118可正播放存储的或流式发射的音乐。麦克风104可在背景声音由具备网络功能的TV 116或收音机118产生的同时捕获来自用户112的语音命令114。在这些情况下,来自具备网络功能的TV 116或收音机118的声音可显著干扰用户的语音命令114,且使会话或语音辨识对用户变得困难。各种实施例涉及抑制输入音频信号的噪声分量。
移动电话102可抑制噪声信号,更具体地说,如果噪声信号的内容可识别。在一个实施例中,移动电话102分析输入音频信号以确定输入音频信号是否具有可识别的内容,例如,来自电视广播的特定歌曲或音频。例如,一个实施例通过提取输入音频信号的特征且接着搜索、下载、流式发射或另外存取内容源来确定内容识别信息(例如,歌名、专辑名称、艺术家姓名或类似者)。例如,参看图1,移动电话102可搜索内容数据库110以存取内容源,其中基于匹配源识别信息来确定内容源。移动电话102能够存取内容源,可获得音频噪声的副本(“源信号”),其可用以特定地衰减或抑制对应于由媒体装置产生的声音的音频噪声。
另外或替代地,移动电话102可直接或经由网络108与具备网络功能的TV 116和/或收音机118通信以识别内容源。例如,移动电话102可能能够请求(例如)来自具备网络功能的TV 116的信道信息,其中具备网络功能的TV 116可通过使用其通信天线124来通信。基于接收的信道信息,移动电话102可存取来自内容数据库110的内容源。作为另一实例,移动电话102可存取来自正对具备网络功能的TV 116广播媒体内容的装置(未图示)的内容源,例如,通过调谐到识别的信道。作为又一实例,移动电话102可存取来自具备网络功能的TV116的内容源。换句话说,具备网络功能的TV 116可直接将内容源发射或中继到移动电话102。
现转到图2,展示经配置以抑制不想要的音频噪声的音频处理装置202的说明性实施例的框图。音频处理装置202包含由总线214互连的处理器204、麦克风206、通信接口208、数据存储装置210和存储器212。此外,存储器212可包含音频信号分析器模块216、音频消除器模块218和通信模块212。音频处理装置202的实例包含任何可适用的电子装置,例如,移动计算装置、蜂窝式电话、通用计算机和类似者。
处理器204包含经配置以执行来自存储器212的指令且控制和操作麦克风206、通信接口208、数据存储装置210、存储器212和总线214的电路(例如,微处理器或微控制器)。明确地说,处理器204可为通用单芯片或多芯片微处理器(例如,ARM)、专用微处理器(例如,数字信号处理器(DSP))、微控制器、可编程门阵列等。虽然在音频处理装置202中仅展示了单一处理器,但在替代性配置中,可使用处理器的组合(例如,ARM与DSP)。
麦克风206经配置以捕获声学声音,且作为响应,产生如由执行来自存储器212的特定指令的处理器204控制的输入音频信号。麦克风206的实例包含用于将声音转换成电音频信号的任何可适用传感器或换能器,例如,电容传声器、动态麦克风、压电麦克风和类似者。在一些实施例中,麦克风206是任选的,且输入音频信号(例如)从来自数据存储装置210或存储器212的数据产生,或从通信接口208接收,如将在以下参看图3所论述。
通信接口208包含经配置以允许音频处理装置202发射和接收数据(例如,用于识别、检索或存取内容源的数据)的电子器件。通信接口208可通信耦合到无线天线、WLAN/LAN和其它类型的路由器和类似通信装置。
数据存储装置210和存储器212包含经配置以通过化学、磁性、电、光学或类似方式存储信息的机构。举例来说,数据存储装置210和存储器212可各自为非易失性存储器装置(例如,快闪存储器或硬盘驱动器),或易失性存储器装置(例如,动态随机存取存储器(DRAM)或静态随机存取存储器(SRAM))。在一些实施例中,处理器204可通过存取数据存储装置210的内容源数据库来存取内容源。图2将数据存储装置210展示为音频处理装置202的部分。在其它实施例中,数据存储装置210可位于单独装置上且可由通信信道存取,例如,经由网络。将关于图3进一步详细地论述音频信号分析器模块216。
在存储器212内的为音频信号分析器模块216,其包含配置处理器204以起始输入音频信号的内容的识别以提供对对应的内容源的存取和/或接收经识别的源信号的指令。如将关于图3进一步详细地论述,在一些实施例中,从输入音频信号提取特征。提取的特征可用以确定由输入音频信号表示的媒体内容的内容身份,且可使用内容身份存取与所述内容身份相关联的内容源。将关于图4和5进一步详细地论述音频信号分析器模块216。
在存储器212内的为音频消除器模块218,其包含配置处理器204以处理具有经识别的源信号的输入音频信号以衰减音频噪声的指令。明确地说,将输入音频信号与经识别的源信号比较。在一个实施例中,对经识别的源信号滤波以考虑室内声学。进行此的其中一个原因是因为部分归因于电子装置所位于的声学空间的声学效应,由媒体装置产生的声音可不同于经识别的源信号。声学效应可包含声学抑制和回声。在另一实施例中,输入音频信号与经识别的源信号经同步以考虑从计算、通信和声学因素产生的各种延迟。将关于图4和5进一步详细地论述音频消除器模块218。
在存储器212内的为通信模块220,其包含配置处理器204以控制通信接口208发射或接收数据的指令。在一些实施例中,起始音频处理装置202与单独媒体装置(例如,图1的具备网络功能的TV 116)之间的通信,如下文进一步详细地论述。
在操作中,处理器204可执行来自存储器212的指令以接收由麦克风206捕获的输入音频信号。输入音频信号可含有语音信号和音频噪声信号。例如,语音信号可表示用户的语音,而音频噪声信号可表示由附近媒体装置产生的声音。处理器204可执行来自音频信号分析器模块216的指令以识别音频噪声信号的内容。处理器204可接着针对与经识别的内容相关联的内容源搜索数据存储装置210。另外或替代地,处理器204可执行来自音频信号分析器和/或通信模块212的指令以经由通信接口208在网络上搜索数据库。一旦音频处理装置202能够存取内容源且具有对应的经识别的源信号,那么处理器204可执行来自音频消除器模块218的指令以通过比较噪声信号(例如,经滤波或未滤波的经识别的源信号)的副本与输入音频信号来抑制或衰减音频噪声信号的至少部分。
参看图3,框图展示由图2的音频处理装置202实施的音频信号分析器300的特定说明性实施例。音频信号分析器300可实施有由处理器204执行的计算机可执行指令(例如,音频信号分析器模块216的指令)。图3的音频信号分析器300包含识别符产生器302,其经配置以接收输入音频信号和产生内容识别信息。内容识别信息可包含以下中的一或多者:艺术家的姓名、内容标题(歌曲、电影、有声读物等的名称)、识别号和类似身份标志。音频信号分析器300还具有源匹配器304,其经配置以接收内容识别信息和产生经识别的源信号。
图3的识别符产生器302具有特征提取器306、内容识别符308和内容-身份数据库310。特征提取器306可由包含配置处理器204以确定输入音频信号的特征信息以确定内容的指令的模块实施。例如,在操作中,特征提取器306可分析输入音频信号以确定可识别或特性化输入音频信号的声学图案或指纹。在一个实施例中,声学图案或指纹可基于执行频谱图(例如,时间-频率)分析。应了解,可选择用于特征提取的其它可适用的方法和系统,例如,基于梅尔频率倒谱系数和/或感知线性预测(例如,相对频谱变换-感知线性预测)的音频处理技术。用于内容识别的特征提取系统的一个特定非限制性实例可发现于(例如)王的论文“一种工业强度音频搜索算法(An industrial strength audio search algorithm)(关于音乐检索的国际会议学报ISMIR,第3册,2003)”。举例来说,由王描述的系统利用频谱图中的局部峰值图案来改善对背景噪声的稳固性。
内容识别符308可由包含配置处理器204以使用声学图案或指纹针对声学图案或指纹的内容身份搜索内容-身份数据库310的指令的模块实施。例如,处理器204可针对对应于或大致匹配声学图案或指纹的内容识别信息搜索内容-身份数据库310。识别符产生器302将内容识别信息提供到源匹配器304。
图3的源匹配器304包含源搜索器312、源数据库314和源发射器316。源搜索器312可由包含配置处理器204以使用内容识别信息针对内容源搜索源数据库314的指令的模块实施。例如,处理器204可针对对应于或大致匹配内容识别信息的内容源(例如,歌曲的MP3文件)搜索存储于数据存储装置210上(或存储在外部且借助于通信接口208存取)的源数据库314。
源发射器316可存取由源搜索器312识别的内容源且可产生经识别的源信号。可将源信号作为脉冲代码调制(PCM)音频样本、数据包(包含经压缩或经译码的数据)或类似数据格式发射。因此,源发射器316可任选地包含声码器/编码器318以产生待发射到音频处理装置202的经译码音频数据包。换句话说,源发射器316可位于服务器计算装置处,且可在数据路径或语音路径上将源信号发送到音频处理装置202(例如,图1的移动电话102)。
应了解,音频信号分析器300的功能中的每一者可由图2的音频处理装置202执行。在其它实施例中,功能中的一或多个由一或多个服务器计算装置(例如,内容数据库110和连接到网络的其它装置)执行。例如,音频处理装置202可使用通信接口208与服务器计算机经由网络通信。可全部以类似流式发射方式或在数据块中、以类似下载方式经由网络提供经识别的源信号。因此,音频处理装置202可接收经识别的源信号的部分(在需要将其用于消除前)。因此,内容-身份数据库310和源数据库314中的每一者可以电子方式存储在音频处理装置202的数据存储装置210或存储器212上,或其可在外部存储到音频处理装置202且经由网络存取。
图4展示由图2的音频处理装置202实施的音频消除器系统400的特定说明性实施例的框图。如所展示,音频消除器系统400可用以抑制多个音频噪声源。举例来说,音频消除器系统400具有n个同步块402(1)到402(n)(也被称为“信号同步器”)和n个对应的音频消除器404(1)到404(n),以及任选的后处理块406、声码器块408和语音辨识块410。音频消除器系统400可实施有计算机可执行指令,例如,由处理器204执行的音频消除器模块218的指令。
在操作中,音频消除器系统400接收输入音频信号和n个经识别的源信号,n个待衰减的可能音频噪声中的每一者对应一个经识别的源信号。例如,参看图1,音频噪声1可对应于来自具备网络功能的TV 116的音频120,且音频噪声2可对应于来自收音机118的音频122。此外,每一经识别的源信号可对应于由(例如)图3的音频信号分析器300产生的源信号。n对同步块402(1)到402(n)和音频消除器块404(1)到404(n)经串联配置,使得音频噪声1首先受到抑制且将所得经处理的输入音频信号馈入到音频消除器2以抑制音频噪声2,等等。应了解,可选择其它可适用的配置,例如,n个平行音频消除器404(1)到404(n)。
如所陈述,n个经识别的源信号可由n个单独源发射器(例如,图3中展示的源发射器)提供。另外或替代地,n个经识别的源信号可由产生音频噪声的单独媒体装置产生。可将n个经识别的源信号(以及输入音频信号)各作为PCM音频样本或数据包提供。例如,在一个实施例中,可将n个经识别的源信号作为经译码语音包发射,且音频消除器系统400包含任选的声码器/解码器(未图示),用于在将信号提供到同步块402(1)到402(n)前解码信号。
如图4中所展示,音频消除器404(1)到404(n)中的每一者分别与同步块402(1)到402(n)相关联。同步块402(1)到402(n)中的每一者可同步输入音频信号(或先前音频消除器的输出)与对应的经识别的源信号。同步块402(1)到402(n)可补偿归因于处理、通信和类似延迟来源的时序差。另外,同步块402(1)到402(n)可用以补偿在确定或估计正由媒体装置播放的源的当前时间位置的误差。同步块402(1)到402(n)中的每一者可分别具有对应的数据缓冲器416(1)-416(n),用于提供用于同步的延迟。在一些实施例中,延迟可为可调谐的。在操作中,可通过执行校准过程来确定可调谐的延迟。用于校准和调谐延迟的过程的非限制性实例可发现于2012年8月9日申请的美国临时专利申请案第61/681,474号中。
n个音频消除器404(1)到404(n)中的每一者可分别具有经配置以滤波对应的源信号的一或多个自适应滤波器412(1)到412(n)。可使用滤波来考虑捕获的音频噪声与源信号之间的变化。即,由于包含以下各者的许多因素,由麦克风206捕获的音频噪声可与源信号有变化:声学空间的动力学(例如,回声和声学阻抑,其可随麦克风206和媒体装置位置而变化)、扬声器/麦克风的动力学、内容源的变化(例如,不同记录质量)和类似者。
为了补偿这些变化,自适应滤波器412(1)到412(n)中的每一者可具有一或多个可调谐的滤波器参数。在一些实施例中,可在线上调谐滤波器参数以基于输入音频信号和源信号模型化这些变化。例如,当输入音频信号大部分包含由媒体装置1产生的声音时,自适应滤波器412(1)的输出(“经滤波的源信号”)与输入音频信号之间的误差可用以按减小信号之间的误差的方式调谐滤波器参数。小误差可指示自适应滤波器412(1)正大致模型化修改音频噪声信号的声学效应,而大的误差指示自适应滤波器412(1)未在模型化声学效应。例如“自适应法则”或“更新规则”的多种方法可用以调整滤波器系数。实例包含基于梯度方法的自适应法则(例如,基于减少瞬时或整体成本的自适应法则),以调整可调谐的滤波器参数以减小经滤波的源信号与输入音频信号之间的误差。其它实例包含最小均方方法、李雅普诺夫(Lyapunov)/稳定性方法和随机方法。然而,应了解,可使用任何合适的递归、非递归或分批自适应法则来调整可调谐的滤波器参数。
在操作中,音频消除器404(1)接收输入音频信号和经识别的源信号1的经同步复本。如所陈述,经识别的源信号1可近似于驱动正产生音频噪声的扬声器的音频信号。自适应滤波器412(1)可滤波经识别的源信号以考虑声学空间的声学动力学,由此产生近似于由麦克风206捕获的音频噪声1的经滤波的源信号1。音频消除器404(1)比较经同步的输入音频信号现经滤波的源信号1以衰减或抑制音频噪声1。如所展示,音频消除器404(1)从输入音频信号减去经滤波的源信号。接着将具有受抑制噪声1的音频信号馈入到第二同步块以抑制音频噪声2等等,直到已抑制来自输入音频信号的n个音频噪声。
另外,每一自适应滤波器412(1)-412(n)可任选地分别具有双端通话检测器(“DTD”)414(1)-414(n),以在某些情况下停止或实现其滤波参数的调整。当除了对应的音频噪声外输入音频信号(或先前音频消除器的输出)还包含其它近端信号(例如,用户的语音或其它媒体噪声)时,对应的自适应滤波器412(n)可不恰当地调适。因为当存在不同于音频噪声的额外近端信号时自适应滤波器412(n)可正在调适,所以那些额外近端信号可充当关于自适应法则强烈不相关的噪声。因此,额外近端信号的存在可使自适应滤波器412(n)发散且允许不受抑制的音频噪声。因此,DTD 414(1)-414(n)中的每一者可用以监视对应的自适应滤波器412(1)-412(n)的输入,且基于额外近端信号的检测停止或实现自适应。
DTD 414(1)-414(n)的一个此方法可涉及计算双端通话检测统计以确定自适应滤波器输入信号包含额外近端信号的时间。一个实例双端通话检测统计由源信号功率对对应的自适应滤波器输入信号的比率给出。可选择其它可适用的双端通话检测统计。此外,双端通话统计可按时域或按频域计算。
如图4中所展示,可任选地包含任选非线性后处理块406以对由回声抑止器404(n)提供的信号执行某些类型的处理。例如,非线性后处理块406可从离开回声抑止器404(n)的信号去除残余噪声(例如,音频噪声信号的非线性分量)。在一些实施例中,可通过估计输入音频信号的非线性分量且接着从输入音频信号减去(例如,通过使用频谱减法技术)估计来去除或衰减非线性噪声分量。非线性后处理块可基于来自DTD 414(1)-414(n)的双端通话决策操作。因此,双端通话决策帮助在非线性后处理器204完全剪除或去除信号前在近端信号与残余音频噪声之间区分。
可将具有受抑制的噪声的音频信号1,…,n提供到声码器408以将音频信号编码到语音包内。另外或替代地,可将具有受抑制的噪声的音频信号提供到语音辨识块410供进一步音频信号处理。
可基于例如以下的各种考虑来选择音频消除器404(1)-404(n)的数目n:预期噪声环境、计算能力、实时约束、存储器、性能和/或类似考虑。然而,应了解,可考虑其它可适用的因素。同样,应了解,音频消除器系统可包含任何可适用数目个同步块。在一些实施例中,这些分量的数目可关于经识别的噪声分量的数目动态变化,如下关于图5所论述。
图5展示由图2的音频处理装置202实施的音频消除器系统500的另一特定说明性实施例的框图。为图4和5的系统400、500所共同的元件共享共同参考标志,且出于简洁起见,本文中仅描述系统400、500之间的差异。
音频消除器系统500具有n个同步块402(1)-402(n)、n个音频消除器块404(1)-404(n)、源识别符检测器502和可重新配置消除器启用器504。源识别符检测器502接收n个经识别的源信号以确定经识别的源信号路径中的哪些有源。例如,源识别符检测器502可基于信号的存在或在那个路径上的信号的能量的等级来确定有源的源信号路径。又,可重新配置消除器启用器504激活对应于有源的经识别的源信号路径的音频消除器块404(1)-404(n)。音频消除器块404(1)-404(n)中的每一有源音频消除器块可如上关于图4所描述般操作。音频消除器块404(1)-404(n)中的每一无源音频消除器块(例如)可经配置为穿通滤波器。
图6展示根据一个实施例的音频噪声抑制的方法600的流程图。虽然接下来的方法的描述聚焦于关于个人音频处理装置202(例如,移动电话、个人音频播放器)的实施方案,但其它装置可经配置以执行所述方法或其变化形式。可将所述方法实施为软件模块或与相关联于音频处理装置202的计算装置的非暂时性计算机存储装置(例如,RAM、ROM、硬盘驱动器或类似者)驻留在一起的模块的集合。计算装置的一或多个处理器可执行软件模块。
在框602中,方法600包含接收输入音频信号。例如,音频处理装置202可接收来自音频处理装置202的麦克风206、来自数据存储装置210或存储器212装置或在通信接口208处接收的输入音频信号。
在于框602处接收输入音频信号后,过程600移动到框604,其中确定音频输入信号是否包含具有可识别的内容的噪声。例如,在一个实施例中,音频处理装置202可执行来自音频信号分析器模块216的指令以确定可用以识别音频噪声的内容的音频输入信号的特征信息。特征信息可由内容识别符308用以确定内容识别信息。在一个实施例中,音频处理装置202可经由网络将特征信息发送到服务器供进一步处理,且接着经由网络接收内容识别信息。在另一实施例中,可对音频处理装置202执行内容识别符308和源搜索器312块的功能中的一或多者以确定内容识别信息。以下关于图7A描述用于实施框604的操作的方法的一个实施例。
在另一实施例中,框604的操作由来自音频信号分析器模块216的执行指令执行以与单独媒体装置通信以确定音频输入信号是否具有可识别的内容。例如,音频处理装置202可请求来自单独媒体装置的关于媒体装置是否正播放音频媒体(且如果是,内容识别信息)的信息。作为响应,音频处理装置202可接收内容识别信息。
一旦作出了音频输入信号含有具有可识别的内容的背景噪声的确定,方法600移动到框606以存取可识别的内容的内容源以获得源信号。例如,在一个实施例中,音频处理装置202可经由通信接口208或经由存储器212或数据存储装置210存取内容源或内容源信号。例如,在框604中获得的内容识别信息可用以定位和存取内容源。内容源可用以产生源信号。以下关于图7B描述用于实施框606的操作的方法的一个实施例。
在源信号的至少一部分可用后,方法600前进到框608,其中基于比较源信号与输入音频信号来衰减噪声。例如,在一个实施例中,音频处理装置202执行存储器212中的音频消除器模块218的指令以根据图4或5中展示的音频消除器系统来衰减音频噪声。
现转到图7A,展示根据一个实施例的在框604中进行的用于确定音频输入信号是否包含具有可识别的内容的噪声的步骤的实例的说明性流程图。在框702中,方法604确定输入音频信号的特征信息。例如,在一个实施例中,音频处理装置202执行存储器212中的音频信号分析器模块216的指令以根据图3中展示的特征提取器306提取特征。一旦已确定足够的特征信息,过程604接着移动到框704以提供特征信息以识别内容源。例如,在一个实施例中,音频处理装置202执行存储器212中的音频信号分析器模块216的指令以使通信接口208经由网络将特征信息发射到服务器装置,用于由服务器装置处理。
在提供了特征信息后,方法604前进到框706用于获得内容识别信息。举例来说,音频处理装置202可从在执行框704时接收特征信息的服务器装置接收内容识别信息。替代地或另外,在一些实施例中,音频处理装置202通过对处理装置202执行必要步骤而非与服务器装置通信来产生内容识别信息。例如,音频处理装置202的处理器204可执行存储器212中的音频信号分析器模块216的指令以实施图3的音频信号分析器300。
图7B为根据一个实施例的用于存取内容源以获得源信号的实例方法606的说明性流程图。在框708中,方法606包含搜索与接收的内容识别信息相关联的内容源。例如,在一个实施例中,音频处理装置202执行存储器212中的音频信号分析器模块216的指令以搜索存储在数据存储装置210中的媒体库。在搜索后,方法606前进到框710用于基于搜索结果产生或接收源信号。例如,如果在音频处理装置202上局部发现内容源,那么处理器204执行指令以从内容源产生源信号。如果未在装置上局部发现内容源,那么在一个实施例中,音频处理装置202执行存储器212中的音频信号分析器模块216的指令以经由网络108请求和接收来自内容数据库110的经识别的源信号。
现转到图8,展示根据实施例的在框608中进行的用于衰减音频噪声的步骤的实例的说明性流程图。在框810中,输入音频信号与源信号经同步以补偿两个信号之间的时间延迟。在操作中,针对包含从选用不同信号和计算路径产生的各种延迟的多种原因,信号可变得不同步。为了同步信号,可将每一信号存储在可变长度的数据缓冲器(例如,循环缓冲器)中以便控制每一信号的时序。例如,参看图4,可在第一同步块402(1)处接收输入音频信号和经识别的源信号。同步块402(1)可将信号存储在缓冲器块416(1)中所存储的对应的循环缓冲器数据结构中,其中循环缓冲器的长度可为用于同步信号的所要的延迟的函数。在一些实施例中,例如,在校准模式期间计算或估计所要的延迟。当输入音频信号由n个音频消除器404(1)-404(n)处理时,音频信号中的额外延迟可出现于n个音频消除器404(1)-404(n)中的每一者处。例如,由n个自适应滤波器412(1)-412(n)进行的滤波可带来延迟。另外,归因于(例如)识别和最终接收经识别的源信号所花费的时间,n个经识别的源信号可经历各种延迟。因此,可使用n个同步块402(1)-402(n)补偿那些各种延迟且维护在音频消除处理期间同步的音频信号与经识别的源信号。
在同步了音频输入信号与经识别的源信号后,方法608继续到框820以滤波经识别的源信号以考虑影响音频噪声的声学效应,例如,声学动力学、扬声器和麦克风动力学和类似者。进行滤波是因为经识别的源信号可能不准确地表示由麦克风206捕获的音频噪声。如果经识别的源信号与音频噪声实质上有变化,那么音频抑制可能不有效。为了改善噪声抑制,可在线上估计这些因素的效应以便对经识别的源信号成形以紧密匹配或重复音频噪声。例如,现参看图4,将经同步的音频输入信号和经同步的经识别的源信号1传到音频噪声消除器404(1)和传到自适应滤波器412(1)。自适应滤波器412(1)可接着对经识别的源信号1滤波或成形以产生参考信号以大致重复音频噪声。自适应滤波器412(1)可具有影响滤波器对经识别的源信号成形的方式的一或多个滤波器参数(例如,无限脉冲响应滤波器的有限脉冲响应的一或多个滤波器参数)。一些实施例包含可调谐的参数以考虑广泛范围的声学效应。
在同步且滤波经识别的源信号后,方法608可前进到框830以通过比较经同步的音频输入与经滤波的源信号来产生经处理的音频信号。在一个实施例中,从经同步的音频输入信号减去经滤波的源信号。为了说明,图4展示自适应滤波器412(1)的输出经从音频输入信号减去以产生具有受抑制的噪声1的音频信号。在一个实施例中,具有受抑制的噪声1的音频信号可经处理用于通信或语音辨识应用。在另一实施例中,具有受抑制的噪声1的音频信号可经处理以供进一步噪声抑制。例如,图4展示可将具有受抑制的噪声1的经处理的音频信号提供到同步块402(2)-402(n)和音频消除器404(2)-404(n)以抑制具有经识别的源信号2-n的额外噪声2-n。
任选地,在执行框820后,方法608可前进到框840以调整自适应滤波器412(1)的可调谐的滤波器参数,以改善关于广泛范围的声学效应的噪声抑制。在一个实施例中,可调谐的滤波器参数的调整由自适应法则或更新法则来控管。例如,参看图4,自适应滤波器414(1)接收经同步的音频输入信号和经识别的源信号两者。自适应滤波器414(1)可产生经滤波的源信号。可通过比较音频输入信号与经滤波的源信号来产生“误差信号”或“抑制因子信号”。误差信号可指示自适应滤波器正重复音频噪声的紧密程度。例如,如果音频输入实质上由音频噪声构成,那么经同步的音频输入信号与经滤波的源信号之间的差指示经滤波的经识别的源信号与音频噪声之间的不匹配量。即,小误差指示自适应滤波器正紧密模型化室内的实际声学动力学。可选择自适应法则(例如,基于梯度或递归最小均方,或类似方法)以按减少误差信号的方式调整自适应滤波器412(1)的可调谐的滤波器参数。
然而,当音频输入信号并不实质上由对应于经识别的源信号1的音频噪声构成时,自适应滤波器414(1)可不恰当地调整其可调谐的参数。例如,音频信号可含有用户的语音命令或来自第二来源的音频噪声。在此情形下,误差信号可不提供自适应滤波器正匹配(例如)关于音频噪声1的室内声学的紧密程度的有意义的指示。因此,当DTD块检测到此条件时,DTD 414(1)块可断开自适应滤波器的调整,如先前关于图4所陈述。
如所陈述,可使用n个经识别的源信号来执行同步和滤波的步骤以消除n个音频噪声。参看图4,明确地说,依序消除音频噪声。然而,在一些实施例中,可并行地消除噪声。
图9为根据实施例的音频噪声抑制的特定说明性方法900的流程图。在框902中,方法900包含接收输入音频信号。可如关于图6中所描述般执行框902。在接收到音频输入信号的至少一部分后,方法900前进到框904,用于接收与由单独媒体装置产生的噪声有关的信息。例如,音频处理装置202可通过执行来自音频信号分析器模块216和通信模块220的指令与单独媒体装置通信,如关于图2所论述。单独媒体装置可给音频处理装置202提供单独媒体装置是否正产生具有媒体内容的噪声的指示。另外或替代地,单独媒体装置可传递内容识别信息,音频处理装置202可使用内容识别信息搜索内容源。内容识别信息的实例包含TV频道、射频和类似媒体广播选择信息。在一个实施例中,单独媒体装置可将源信号发送到音频处理装置202。
在音频处理装置202接收到与噪声有关的信息后,方法900前进到框906,用于基于与由单独媒体装置产生的噪声有关的接收的信息接收源信号。例如,如果音频处理装置从分开的媒体装置接收到媒体装置正产生噪声的指示,或如果音频处理装置202接收到内容识别信息,那么音频处理装置202可通过执行如上所描述的图6、7A和7B的方法604和606来接收源信号。在一些实施例中,音频处理装置202从单独媒体装置接收源信号。例如,单独媒体装置可发射单独媒体装置正播放的媒体的副本。
在接收到源信号后,方法900可前进到框908用于基于比较源信号与输入音频信号来衰减噪声。例如,音频处理装置202通过执行如上所述的图6和8的方法608来衰减音频噪声。
所述技术通过众多其它通用或专用计算系统环境或配置而操作。可适合于供本发明使用的众所周知的计算系统、环境和/或配置的实例包含(但不限于)个人计算机、服务器计算机、手持式或膝上型装置、多处理器系统、基于处理器的系统、可编程消费型电子装置、网络PC、微型计算机、大型计算机,包含以上系统或装置中的任一者的分布式计算环境和类似者。
如本文中所使用,指令指用于处理系统中的信息的计算机实施的步骤。指令可在软件、固件或硬件中实施且包含由系统的组件进行的任何类型的编程步骤。
处理器可为任何常规的通用单芯片或多芯片处理器,例如, II或 II处理器、处理器、因特尔处理器或处理器的任何实施方案。另外,所述处理器可为任何常规的专用处理器,包含OMAP处理器、处理器(例如,)或数字信号处理器或图形处理器。处理器通常具有常规地址线、常规数据线和一或多个常规控制线。
所述系统包括如详细论述的各种模块。如所属领域的技术人员可了解,所述模块中的每一者包括各种子例程、程序、明确的陈述和宏。所述模块中的每一者通常被单独地编译和链接到单一可执行程序内。因此,出于便利起见而使用所述模块中的每一者的描述来描述优选系统的功能性。因此,所述模块中的每一者所经历的过程可任意地重新分配给其它模块中的一者、一起组合在单个模块中,或使得可用于(例如)可共享的动态链接库中。
可以任何常规的编程语言编写系统,例如,C#、C、C++、BASIC、Pascal或Java,且在常规的操作系统下运行。C#、C、C++、BASIC、Pascal、Java和FORTRAN是行业标准编程语言,许多商用编译器可使用其创建可执行代码。也可使用例如Perl、Python或Ruby的解译语言来编写系统。
所属领域的技术人员将进一步了解,结合本文所揭示的实施例而描述的各种说明性逻辑块、模块、电路和算法步骤可实施为电子硬件、计算机软件或两者的组合。为清楚说明硬件与软件的此互换性,上文已大致关于其功能性而描述了各种说明性组件、块、模块、电路和步骤。此类功能性是实施为硬件还是软件取决于特定应用和强加于整个系统的设计约束。所属领域的技术人员可针对每一特定应用以不同方式实施所描述功能性,但这些实施决策不应被解释为引起偏离本发明的范围。
可用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其经设计以执行本文中所描述功能的任何组合来实施或执行结合本文中所揭示的实施例而描述的各种说明性逻辑块、模块和电路。通用处理器可为微处理器,但在替代方案中,处理器可为任何常规的理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合,例如,DSP与微处理器的组合、多个微处理器、一或多个微处理器结合DSP核心或任何其它此类配置。
在一或多个实例实施例中,所描述的功能和方法可用硬件、软件或在处理器上执行的固件或其任何组合来实施。如果以软件来实施,那么可将功能作为一或多个指令或代码存储在计算机可读媒体上或经由计算机可读媒体发射。计算机可读媒体包含计算机存储媒体与通信媒体两者,通信媒体包含促进将计算机程序从一处传送到另一处的任何媒体。存储媒体可为可由计算机存取的任何可用媒体。借助于实例而非限制,此类计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置,或可用于携载或存储呈指令或数据结构的形式的所要的程序代码且可由计算机存取的任何其它媒体。并且,任何连接被恰当地称为计算机可读媒体。举例来说,如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或无线技术(例如,红外线、无线电和微波)从网站、服务器或其它远程源发射软件,那么所述同轴电缆、光纤电缆、双绞线、DSL或无线技术(例如,红外线、无线电和微波)包含在媒体的定义中。如本文中所使用,磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字影音光盘(DVD)、软性磁盘和蓝光光盘,其中磁盘通常以磁性方式再生数据,而光盘利用激光以光学方式再生数据。以上的组合也应包含在计算机可读媒体的范围内。
前述描述详述了本文中揭示的系统、装置和方法的某些实施例。然而,应了解,不管前述内容在文本中如何详细地显现,皆可以许多方式来实践所述系统、装置和方法。还如上文所陈述,应注意,在描述本发明的特某些特征或方面时使用特定术语不应被理解为暗示所述术语在本文中被重新定义为受限于包含所述术语所关联的技术的特征或方面的任何特定特性。
所属领域的技术人员将了解,在不脱离所描述的技术的范围的情况下可进行各种修改和改变。希望这些修改和改变属于实施例的范围。所属领域的技术人员还将了解,在一个实施例中包含的部分可与其它实施例互换;来自所描绘的实施例的一或多个部分可与其它所描绘的实施例以任何组合包含在一起。例如,本文中描述和/或图中所描绘的各种组件中的任何者可经组合、互换或从其它实施例排除。
关于本文中实质上任何复数和/或单数术语的使用,所属领域的技术人员可在适于上下文和/或应用的情况下将复数转换成单数和/或将单数转换成复数。为清晰起见,本文中可明确地阐述各种单数/复数排列。
所属领域的技术人员应理解,一般来说,本文所使用的术语通常希望为“开放式”术语(例如,应将术语“包含(including)”解释为“包含(但不限于)”,应将术语“具有”解释为“具有至少”,应将术语“包含(includes)”解释为“包含(但不限于)”等)。所属领域的技术人员将进一步理解,如果希望有特定数目个所引入的权利要求叙述,那么此意图将明确叙述于所述权利要求中,且在不存在此叙述的情况下,不存在此意图。例如,作为对理解的辅助,以下随附权利要求书可含有介绍性短语“至少一个”和“一或多个”的使用,以便引入权利要求叙述。然而,这些短语的使用不应解释为暗示通过不定冠词“一”引入权利要求叙述将含有如此引入的权利要求叙述的任一特定权利要求限于仅含有一个此叙述的实施例,甚至当同一个权利要求包含介绍性短语“一或多个”或“至少一个”和例如“一”的不定冠词时也如此(例如,“一”通常应解释为意味着“至少一个”或“一或多个”);这同样适用于使用定冠词来引入权利要求叙述的情况。此外,即使明确地叙述了特定数目个所引入权利要求叙述,所属领域的技术人员也将认识到,此叙述通常应解释为意味着至少所叙述的数目(例如,不具有其它修饰语的无修饰叙述“两个叙述”通常意味至少两个叙述或者两个或两个以上叙述)。此外,在使用类似于“A、B和C中的至少一者等”的惯例的那些情况下,一般来说,此构造希望以所属领域的技术人员将理解所述惯例的意义来理解(例如,“具有A、B和C中的至少一者的系统”将包含(但不限于)具有单独A、单独B、单独C、A与B一起、A与C一起、B与C一起和/或A、B与C一起的系统等)。在使用类似于“A、B或C等中的至少一者”的惯例的那些情况下,一般来说,此构造希望以所属领域的技术人员将理解所述惯例的意义来理解(例如,“具有A、B或C中的至少一者的系统”将包含(但不限于)具有单独A、单独B、单独C、A与B一起、A与C一起、B与C一起和/或A、B与C一起的系统等)。所属领域内的技术人员将进一步了解,实际上任何呈现两个或两个以上替代性术语的转折性词语和/或短语,无论是在说明书、权利要求书或图式中,都应该理解为涵盖包括所述术语中的一者、所述术语中的任一者或两个术语的可能性。例如,短语“A或B”应理解为包含“A”或“B”或“A和B”的可能性。
虽然本文中已经揭示各种方面和实施例,但所属领域的技术人员将明白其它方面和实施例。本文中揭示的各种方面和实施例是出于说明的目的且并不希望为限制性的。
Claims (18)
1.一种用以衰减音频噪声的装置,所述装置包括:
麦克风,其经配置以接收输入音频信号;
音频信号分析器,其经配置以确定所述输入音频信号是否至少包含具有可识别的内容的噪声信号和音频信号,其中如果所述噪声信号具有可识别的内容,那么所述音频信号分析器经进一步配置以存取内容源以获得所述噪声信号的副本;以及
音频消除器,其经配置以通过(i)将所获得的所述噪声信号的所述副本与所述输入音频信号进行比较以生成至少一个滤波器并(ii)将所述至少一个滤波器施加至所述输入音频信号以衰减所述音频信号来产生经处理的音频信号。
2.根据权利要求1所述的装置,其中所述音频信号分析器经配置以执行对于由单独媒体装置产生的噪声信号所述输入音频信号是否包含具有可识别的内容的所述噪声信号的所述确定。
3.根据权利要求1所述的装置,其进一步包括通信接口,其中所述音频信号分析器经进一步配置以:
确定所述输入音频信号的特征信息;
使用所述通信接口,发射所述特征信息;以及
使用所述通信接口,至少基于发射所述特征信息来接收所述噪声信号的所述副本。
4.根据权利要求3所述的装置,其中所述音频信号分析器经进一步配置以:
经由所述通信接口,响应于提供所述特征信息来接收内容识别信息;
基于匹配所述接收的内容识别信息与所述内容源,针对所述内容源搜索所述装置;以及
如果所述搜索导致匹配所述内容源,那么从所述内容源产生所述噪声信号的所述副本。
5.根据权利要求1所述的装置,其中所述音频信号分析器包含:
特征提取器,其经配置以确定所述输入音频信号的特征信息;
内容识别符,其经配置以确定与所述特征信息相关联的内容识别信息;
源搜索器,其经配置以基于匹配所述内容识别信息与所述内容源针对所述内容源搜索数据库;以及
源发射器,其经配置以如果所述搜索定位了所述内容源,那么从所述内容源产生所述噪声信号的所述副本。
6.根据权利要求1所述的装置,其进一步包括经配置以延迟所述输入音频信号和所述噪声信号的所述副本中的至少一者的信号同步器,其中所述音频消除器包含:
自适应滤波器,其具有可调谐的滤波器参数,所述自适应滤波器经配置以基于所述噪声信号的经同步的副本和所述可调谐的滤波器参数产生经滤波的噪声信号,所述自适应滤波器经配置以基于比较所述经同步的输入音频信号与所述噪声信号的所述经同步的副本调整所述可调谐的滤波器参数;以及
所述自适应滤波器的双端通话检测器,其经配置以当所述双端通话检测器检测到除了所述噪声信号的所述副本外输入音频信号还具有所述音频信号时停用所述自适应滤波器的所述可调谐的滤波器参数的调整,
其中所述音频消除器通过比较所述经滤波的噪声信号与所述经同步的输入音频信号来比较所述噪声信号的所述副本与所述输入音频信号。
7.根据权利要求1所述的装置,其进一步包括经配置以在所述装置与单独媒体装置之间的通信信道上传递数据的通信模块,其中所述通信模块从所述单独媒体装置接收所述噪声信号的所述副本的至少一部分。
8.根据权利要求1所述的装置,其进一步包括经配置以在所述装置与单独媒体装置之间的通信信道上传递数据的通信模块,其中所述通信模块接收对应于所述内容源的内容识别数据。
9.一种用以衰减音频噪声的方法,所述方法包括:
接收输入音频信号;
确定所述输入音频信号是否至少包含具有可识别的内容的噪声信号和音频信号;
如果所述噪声信号具有可识别的内容,那么存取内容源以获得所述噪声信号的副本;以及
通过(i)将所获得的所述噪声信号的所述副本与所述输入音频信号进行比较以生成至少一个滤波器并(ii)将所述至少一个滤波器施加至所述输入音频信号以衰减所述音频信号来产生经处理的音频信号。
10.根据权利要求9所述的方法,其中所述确定所述输入音频信号是否包含具有可识别的内容的所述噪声信号的步骤包括确定所述输入音频信号是否包含由单独媒体装置产生且具有可识别的内容的噪声信号。
11.根据权利要求9所述的方法,其中所述确定所述输入音频信号是否包含具有可识别的内容的所述噪声信号的步骤包括:
确定所述输入音频信号的特征信息;以及
发射所述特征信息,
其中所述存取所述噪声信号的所述副本的步骤包含至少基于发射所述特征信息来接收所述噪声信号的所述副本。
12.根据权利要求11所述的方法,其中所述确定所述输入音频信号是否包含具有可识别的内容的所述噪声信号的步骤包括:
响应于提供所述特征信息接收内容识别信息;
基于匹配所述接收的内容识别信息与所述内容源,搜索所述内容源;以及
如果所述搜索导致匹配所述内容源,那么从所述内容源产生所述噪声信号的所述副本。
13.根据权利要求9所述的方法,其中所述确定所述输入音频信号是否包含具有可识别的内容的所述噪声信号的步骤包括:
确定所述输入音频信号的特征信息;
确定与所述特征信息相关联的内容识别信息;
基于匹配所述内容识别信息与所述内容源,针对所述内容源搜索数据库;以及
如果所述搜索定位了所述内容源,那么从所述内容源产生所述噪声信号的所述副本。
14.根据权利要求9所述的方法,其进一步包括延迟所述输入音频信号和所述噪声信号的所述副本中的至少一者以同步所述输入音频信号与所述噪声信号的所述副本,其中产生所述经处理的音频信号的步骤包含:
使用具有可调谐的滤波器参数的自适应滤波器以基于所述噪声信号的经同步的副本和所述可调谐的滤波器参数产生经滤波的噪声信号;
基于比较所述经同步的输入音频信号与所述噪声信号的所述经同步的副本来选择性地调整所述可调谐的滤波器参数;以及
确定除了所述噪声信号外所述输入音频信号是否还具有所述音频信号;
当确定除了所述噪声信号外所述输入音频信号还具有所述音频信号时,停用所述自适应滤波器的所述可调谐的滤波器参数的调整,
其中通过比较所述噪声信号与所述输入音频信号进行的所述比较所述噪声信号的所述副本与所述输入音频信号包含比较所述经滤波的噪声信号与所述经同步的输入音频信号。
15.根据权利要求9所述的方法,其进一步包括与单独媒体装置在通信信道上传递数据以从所述单独媒体装置接收所述噪声信号的所述副本的至少一部分。
16.根据权利要求9所述的方法,其进一步包括在通信信道上将数据传递到单独媒体装置以接收对应于所述内容源的内容识别数据。
17.一种用以衰减音频噪声的设备,所述设备包括:
用于接收输入音频信号的装置;
用于确定所述输入音频信号是否至少包含具有可识别的内容的噪声信号和音频信号且用于如果所述噪声信号具有可识别的内容那么选择性地存取内容源以获得所述噪声信号的副本的装置;以及
用于通过(i)将所获得的所述噪声信号的所述副本与所述输入音频信号进行比较以生成至少一个滤波器并(ii)将所述至少一个滤波器施加至所述输入音频信号以衰减所述音频信号来产生经处理的音频信号的装置。
18.根据权利要求17所述的设备,其中所述用于确定的装置包含:
用于确定与所述输入音频信号的特征信息相关联的内容识别信息的装置;
用于基于匹配所述内容识别信息与所述内容源针对所述内容源搜索数据库的装置;以及
用于如果所述搜索定位了所述内容源那么从所述内容源产生所述噪声信号的所述副本的装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/787,605 US9275625B2 (en) | 2013-03-06 | 2013-03-06 | Content based noise suppression |
US13/787,605 | 2013-03-06 | ||
PCT/US2014/017381 WO2014137612A1 (en) | 2013-03-06 | 2014-02-20 | Content based noise suppression |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105027541A CN105027541A (zh) | 2015-11-04 |
CN105027541B true CN105027541B (zh) | 2018-01-16 |
Family
ID=50236325
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201480010777.4A Active CN105027541B (zh) | 2013-03-06 | 2014-02-20 | 基于内容的噪声抑制 |
Country Status (6)
Country | Link |
---|---|
US (1) | US9275625B2 (zh) |
EP (1) | EP2965496B1 (zh) |
JP (1) | JP2016513816A (zh) |
KR (1) | KR20150123902A (zh) |
CN (1) | CN105027541B (zh) |
WO (1) | WO2014137612A1 (zh) |
Families Citing this family (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9947333B1 (en) * | 2012-02-10 | 2018-04-17 | Amazon Technologies, Inc. | Voice interaction architecture with intelligent background noise cancellation |
US9570087B2 (en) * | 2013-03-15 | 2017-02-14 | Broadcom Corporation | Single channel suppression of interfering sources |
US9832299B2 (en) * | 2013-07-17 | 2017-11-28 | Empire Technology Development Llc | Background noise reduction in voice communication |
US10149047B2 (en) * | 2014-06-18 | 2018-12-04 | Cirrus Logic Inc. | Multi-aural MMSE analysis techniques for clarifying audio signals |
US10325591B1 (en) * | 2014-09-05 | 2019-06-18 | Amazon Technologies, Inc. | Identifying and suppressing interfering audio content |
US9952095B1 (en) | 2014-09-29 | 2018-04-24 | Apple Inc. | Methods and systems for modulation and demodulation of optical signals |
US9747488B2 (en) | 2014-09-30 | 2017-08-29 | Apple Inc. | Active sensing element for acoustic imaging systems |
US9979955B1 (en) * | 2014-09-30 | 2018-05-22 | Apple Inc. | Calibration methods for near-field acoustic imaging systems |
JP6322125B2 (ja) * | 2014-11-28 | 2018-05-09 | 日本電信電話株式会社 | 音声認識装置、音声認識方法および音声認識プログラム |
CN105988049B (zh) * | 2015-02-28 | 2019-02-19 | 惠州市德赛西威汽车电子股份有限公司 | 一种噪声抑制的调试方法 |
US9672821B2 (en) * | 2015-06-05 | 2017-06-06 | Apple Inc. | Robust speech recognition in the presence of echo and noise using multiple signals for discrimination |
KR102137537B1 (ko) | 2015-06-30 | 2020-07-27 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 잡음을 연관시키기 위한 그리고 분석하기 위한 방법 및 장치 |
US11048902B2 (en) | 2015-08-20 | 2021-06-29 | Appple Inc. | Acoustic imaging system architecture |
CN105489215B (zh) * | 2015-11-18 | 2019-03-12 | 珠海格力电器股份有限公司 | 一种噪声源识别方法及系统 |
US11277210B2 (en) * | 2015-11-19 | 2022-03-15 | The Hong Kong University Of Science And Technology | Method, system and storage medium for signal separation |
US10923137B2 (en) * | 2016-05-06 | 2021-02-16 | Robert Bosch Gmbh | Speech enhancement and audio event detection for an environment with non-stationary noise |
US9838815B1 (en) * | 2016-06-01 | 2017-12-05 | Qualcomm Incorporated | Suppressing or reducing effects of wind turbulence |
KR102515996B1 (ko) | 2016-08-26 | 2023-03-31 | 삼성전자주식회사 | 음성 인식을 위한 전자 장치 및 그 제어 방법 |
US10554822B1 (en) * | 2017-02-28 | 2020-02-04 | SoliCall Ltd. | Noise removal in call centers |
JP6545419B2 (ja) * | 2017-03-08 | 2019-07-17 | 三菱電機株式会社 | 音響信号処理装置、音響信号処理方法、及びハンズフリー通話装置 |
JP7020799B2 (ja) * | 2017-05-16 | 2022-02-16 | ソニーグループ株式会社 | 情報処理装置、及び情報処理方法 |
US10475449B2 (en) * | 2017-08-07 | 2019-11-12 | Sonos, Inc. | Wake-word detection suppression |
US10313218B2 (en) * | 2017-08-11 | 2019-06-04 | 2236008 Ontario Inc. | Measuring and compensating for jitter on systems running latency-sensitive audio signal processing |
US11322170B2 (en) | 2017-10-02 | 2022-05-03 | Dolby Laboratories Licensing Corporation | Audio de-esser independent of absolute signal level |
US10847178B2 (en) * | 2018-05-18 | 2020-11-24 | Sonos, Inc. | Linear filtering for noise-suppressed speech detection |
US10297266B1 (en) | 2018-06-15 | 2019-05-21 | Cisco Technology, Inc. | Adaptive noise cancellation for multiple audio endpoints in a shared space |
US10867615B2 (en) * | 2019-01-25 | 2020-12-15 | Comcast Cable Communications, Llc | Voice recognition with timing information for noise cancellation |
EP3709194A1 (en) | 2019-03-15 | 2020-09-16 | Spotify AB | Ensemble-based data comparison |
CN110047497B (zh) * | 2019-05-14 | 2021-06-11 | 腾讯科技(深圳)有限公司 | 背景音频信号滤除方法、装置及存储介质 |
US11017792B2 (en) * | 2019-06-17 | 2021-05-25 | Bose Corporation | Modular echo cancellation unit |
US11094319B2 (en) | 2019-08-30 | 2021-08-17 | Spotify Ab | Systems and methods for generating a cleaned version of ambient sound |
US11308959B2 (en) | 2020-02-11 | 2022-04-19 | Spotify Ab | Dynamic adjustment of wake word acceptance tolerance thresholds in voice-controlled devices |
US11328722B2 (en) | 2020-02-11 | 2022-05-10 | Spotify Ab | Systems and methods for generating a singular voice audio stream |
US11950512B2 (en) | 2020-03-23 | 2024-04-02 | Apple Inc. | Thin-film acoustic imaging system for imaging through an exterior surface of an electronic device housing |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007007916A1 (en) * | 2005-07-14 | 2007-01-18 | Matsushita Electric Industrial Co., Ltd. | Transmitting apparatus and method capable of generating a warning depending on sound types |
CN1996307A (zh) * | 2000-07-31 | 2007-07-11 | 兰德马克数字服务公司 | 用于从媒体样本辨认媒体实体的方法 |
CN101355600A (zh) * | 2007-07-26 | 2009-01-28 | 株式会社卡西欧日立移动通信 | 杂音去除系统、声音获取装置、声音输出装置及记录介质 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7747002B1 (en) * | 2000-03-15 | 2010-06-29 | Broadcom Corporation | Method and system for stereo echo cancellation for VoIP communication systems |
US6990453B2 (en) * | 2000-07-31 | 2006-01-24 | Landmark Digital Services Llc | System and methods for recognizing sound and music signals in high noise and distortion |
EP1457889A1 (en) * | 2003-03-13 | 2004-09-15 | Koninklijke Philips Electronics N.V. | Improved fingerprint matching method and system |
JP2005077865A (ja) * | 2003-09-02 | 2005-03-24 | Sony Corp | 音楽検索システムおよび方法、情報処理装置および方法、プログラム、並びに記録媒体 |
US20090012786A1 (en) | 2007-07-06 | 2009-01-08 | Texas Instruments Incorporated | Adaptive Noise Cancellation |
US20090034750A1 (en) | 2007-07-31 | 2009-02-05 | Motorola, Inc. | System and method to evaluate an audio configuration |
US9112989B2 (en) | 2010-04-08 | 2015-08-18 | Qualcomm Incorporated | System and method of smart audio logging for mobile devices |
US9280598B2 (en) | 2010-05-04 | 2016-03-08 | Soundhound, Inc. | Systems and methods for sound recognition |
US8812014B2 (en) | 2010-08-30 | 2014-08-19 | Qualcomm Incorporated | Audio-based environment awareness |
JP5561195B2 (ja) * | 2011-02-07 | 2014-07-30 | 株式会社Jvcケンウッド | ノイズ除去装置およびノイズ除去方法 |
US9384726B2 (en) | 2012-01-06 | 2016-07-05 | Texas Instruments Incorporated | Feedback microphones encoder modulators, signal generators, mixers, amplifiers, summing nodes |
-
2013
- 2013-03-06 US US13/787,605 patent/US9275625B2/en active Active
-
2014
- 2014-02-20 EP EP14708428.9A patent/EP2965496B1/en not_active Not-in-force
- 2014-02-20 KR KR1020157026895A patent/KR20150123902A/ko active IP Right Grant
- 2014-02-20 JP JP2015561382A patent/JP2016513816A/ja active Pending
- 2014-02-20 WO PCT/US2014/017381 patent/WO2014137612A1/en active Application Filing
- 2014-02-20 CN CN201480010777.4A patent/CN105027541B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1996307A (zh) * | 2000-07-31 | 2007-07-11 | 兰德马克数字服务公司 | 用于从媒体样本辨认媒体实体的方法 |
WO2007007916A1 (en) * | 2005-07-14 | 2007-01-18 | Matsushita Electric Industrial Co., Ltd. | Transmitting apparatus and method capable of generating a warning depending on sound types |
CN101355600A (zh) * | 2007-07-26 | 2009-01-28 | 株式会社卡西欧日立移动通信 | 杂音去除系统、声音获取装置、声音输出装置及记录介质 |
Also Published As
Publication number | Publication date |
---|---|
EP2965496A1 (en) | 2016-01-13 |
WO2014137612A1 (en) | 2014-09-12 |
US20140254816A1 (en) | 2014-09-11 |
JP2016513816A (ja) | 2016-05-16 |
EP2965496B1 (en) | 2018-01-03 |
KR20150123902A (ko) | 2015-11-04 |
US9275625B2 (en) | 2016-03-01 |
CN105027541A (zh) | 2015-11-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105027541B (zh) | 基于内容的噪声抑制 | |
US11017799B2 (en) | Method for processing voice in interior environment of vehicle and electronic device using noise data based on input signal to noise ratio | |
JP6637014B2 (ja) | 音声信号処理のためのマルチチャネル直接・環境分解のための装置及び方法 | |
US9704478B1 (en) | Audio output masking for improved automatic speech recognition | |
RU2467406C2 (ru) | Способ и устройство для поддержки воспринимаемости речи в многоканальном звуковом сопровождении с минимальным влиянием на систему объемного звучания | |
CN111885275B (zh) | 语音信号的回声消除方法、装置、存储介质以及电子装置 | |
CN108140399A (zh) | 用于超宽带音乐的自适应噪声抑制 | |
CN109036443A (zh) | 用于在不同回放设备之间优化响度和动态范围的系统和方法 | |
BRPI0812029B1 (pt) | método de recuperar dados ocultados, dispositivo de telecomunicações, aparelho de ocultar dados, método de ocultar dados e caixa de conjunto superior | |
CN104157292B (zh) | 抗啸叫音频信号处理方法和装置 | |
US20210287653A1 (en) | System and method for data augmentation of feature-based voice data | |
CN111640411B (zh) | 音频合成方法、装置及计算机可读存储介质 | |
CN114121031A (zh) | 设备语音降噪、电子设备和存储介质 | |
WO2014000658A1 (zh) | 消除噪音的方法和装置、以及移动终端 | |
US9832299B2 (en) | Background noise reduction in voice communication | |
CN114792524A (zh) | 音频数据处理方法、装置、程序产品、计算机设备和介质 | |
US20190172477A1 (en) | Systems and methods for removing reverberation from audio signals | |
Alexander et al. | Music and noise fingerprinting and reference cancellation applied to forensic audio enhancement | |
GB2516208B (en) | Noise reduction in voice communications | |
JP2002064617A (ja) | 反響抑圧方法・反響抑圧装置 | |
CN113516995B (zh) | 声音处理方法和装置 | |
WO2023245700A1 (zh) | 一种音频能量分析方法和相关装置 | |
US20220406317A1 (en) | Conference terminal and embedding method of audio watermarks | |
CN114724572A (zh) | 确定回声延时的方法和装置 | |
CN115376538A (zh) | 用于交互的语音降噪方法、系统、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |