CN103945076B - 用于移动设备的实时音频回声和背景噪声的减小 - Google Patents

Abstract

音频增强系统包括显示单元，所述显示单元配置为展示对应于遭受音频干扰的麦克风信号的波形。所述音频增强系统还包括干扰减小单元，所述干扰减小单元耦连到所述麦克风信号且配置为提供音频干扰的减小，其中减小的音频干扰由所述波形实时地指示。还提供了麦克风信号增强方法。

Description

用于移动设备的实时音频回声和背景噪声的减小

技术领域

本申请概括地说针对的是回声和背景噪声的消除，更具体地，针对的是音频增强系统和麦克风信号增强方法。

背景技术

随着移动设备变得越来越流行，在诸如机场、户外街道和交通场合（trafficsituations）或例如餐馆等嘈杂的环境中越来越多地使用它们。声学噪声抑制处理了由所述移动设备本身制造的本质上独立的信息音频信号的背景噪声源，但是降低了这些独立的信息音频信号的信噪比，因此需要降低或消除噪声。声学回声消除主要处理所述独立信息的因用户环境中的声学反射或因极为解接近移动设备的扬声器和它的附随的麦克风而出现的独立的信息音频信号的声学回声。

这些环境使得很难通过通信链路准确的听到或理解。因此，许多通信系统越来越多地依赖计算机语音命令或音频识别来进行适当地操作。高水平的背景声学干扰能造成这些类型的系统中的高出错率。相对于背景噪声源或音频反射器（reflectors）移动的移动设备对这些环境中的适当的操作提供了增加的复杂性。因此，增强的功能，尤其是移动设备的对这些环境的增强的补偿功能将对本领域是有益的

发明内容

本公开的实施例提供了音频增强系统和麦克风增强方法。

在一个实施例中，所述音频增强系统包括显示单元，所述显示单元配置为展示对应于遭受音频干扰的麦克风信号的波形。所述音频增强系统还包括干扰减小单元，所述干扰减小单元耦连到所述麦克风信号且配置为提供音频干扰的减小，其中减小的音频干扰由所述波形实时地指示。

在另一方面，所述麦克风增强方法的实施例包括显示对应于遭受音频干扰的麦克风信号的波形，并提供所述麦克风信号的音频干扰的减小，其中，减小的音频干扰由所述波形实时地指示。

前面已经概括了本公开的优选的和替代性特征，从而使本领域技术人员可以更好的理解以下对本公开的详细描述。将在下文中描述本公开的形成本公开的权利要求的主题的附加技术特征。本领域技术人员应当理解，他们可以容易的用所公开的构思和特定的实施例作为设计或改造用于实施本公开的相同的目的的其它结构的基础。

附图说明

现在结合附图引用以下说明，其中：

图1示出了根据本公开的原理所构建的部分通信布置的框图；

图2A、2B和2C示出了对应于如参照图1所论述的声学回声消除的波形的实例;

图3A、3B和3C示出了集中在比图2A至2C稍迟的观测时间的波形的另一个实例；

图4A和4B示出了根据本公开的原理所构建的采用移动设备和相关联的分开的主机设备的通信系统的实施例的示意图；

图5A和5B示出了根据本公开的原理所构建的采用移动设备的通信系统的另一实施例的示意图；和

图6示出了根据本公开的原理所实施的麦克风信号增强方法的流程图。

具体实施方式

本公开的实施例提供了改变、调整或调谐声学回声消除和背景噪声抑制的图形化方法，所述方法在移动设备中可能是特别有益的。通常，采用实时纠正或分析来增强音频质量相关问题，其中能量是变化的。

为了本公开的目的，如在回声消除或噪声抑制中所使用的术语“实时”被定义为针对现有的或进行中的通信，体验所述视频质量中的改进的足够短的时间。此外，移动设备被定义为具有显示器和使用用于音频信号的通信的麦克风和扬声器的任意便携式电子单元。

图1示出了根据本公开的原理所构建的广泛地标示为100的部分通信布置的框图。所述部分通信布置100包括扬声器105、麦克风110和音频增强系统115。所述音频增强系统115包括干扰减小单元116，该干扰减小单元116具有耦连到分析单元120的声学回声消除器117和音频背景噪声抑制器118。所述音频增强系统115还包括数据记录存储器125和显示单元130。声学回声消除器117、音频背景噪声抑制器118和分析单元120实时提供并验证音频质量的增强。

通常，显示单元130配置为展示对应于遭受音频干扰的麦克风信号111的波形。该音频干扰典型地由源自扬声器105的声学回声反馈和源自用户现场环境的音频背景噪声组成。干扰减小单元116耦连到所述麦克风信号111且可以耦连到输入扬声器信号106以提供所述音频干扰的减小，其中减小的音频干扰由所述波形实时地指示。

在示出的实施例中，音频背景噪声抑制器118耦连到声学回声消除器117并配置为在达到所述声学回声信号的预选的回声消除程度之后，实时地减小背景噪声。通常所述处理框（回声消除和噪声抑制）的顺序取决于算法设计选择。这里，所显示的处理顺序是示例性的，基于本公开的原理任意处理顺序都是可接受的。

扬声器105提供正比于输入扬声器信号106的音频输出。来自扬声器105的这个音频输出的意外的（unintended）部分作为声学回声反馈到麦克风110，其中，它进一步作为麦克风信号111中的电输入被提供到声学回声消除器117，用于声学回声信号的减小。在一个实施例中，声学回声消除器117采用归一化最小均方差（NLMS）滤波器结构或算法来减小所述噪声至可接受的或预选的回声消除程度。相应地，分析单元120可以提供估算的回声脉冲响应指示。

此外，回声消除或音频抑制算法可以自适应地达到预选的音频干扰减小程度。在一种情况下，输入扬声器信号106可以被用作到声学回声消除器117的参考输入。在另一种情况下，回声消除算法可以包括适应的回声延迟估算，以提供所述回声消除程度。或者，回声消除或视频背景噪声抑制算法可以是用户指导的，以实现预选的消除或抑制度，其中，用户指导的关注（AT）命令可以用于修改例如合适的参数。

采用数据记录存储器125来保留在回声消除和噪声压制期间的回声和背景噪声数据以及用于以后的分析或测试（例如，回声或噪声算法测试）的数据。所述回声和背景噪声数据可以对应于所记录的保留在数据记录存储器125中的波形样图，用于附加的分析。所述附加的分析可以包括音频文件的显示、回放或转换。

在示出的实施例中，通过声学回声消除器117达到所要求的或预选的回声消除程度后，它的输出信号允许音频背景噪声抑制器118提供剩下的背景噪声的噪声抑制。所述剩下的背景噪声典型地可以包括诸如咔擦声、流行乐或其它类似的干扰噪声等能量变化的信号，以及其它可以与例如风、飞机、火车、汽车或人群相关的环境噪声。通常，来自声学回声消除器117、音频背景噪声抑制器118、分析单元120和数据记录存储器125的各自的输入106、111和输出可用于在显示单元130上观测。

图2A、2B和2C示出了广泛地标示为200、210、220的对应于如参照图1所论述的声学回声消除的波形的实例。这里标出了观测时间205，该观测时间205可以对应于例如在声学回声消除器117中的初始回声消除滤波器或算法设置。在图2A、2B和2C的实例中，该初始回声消除算法或滤波器设置提供了不可接受的回声消除程度。

波形200对应于如可应用于图1的扬声器105的扬声器波形。波形210包含两个分量波形。第一分量波形212对应于由扬声器105所指示的并反馈到麦克风110从而提供输入111到声学回声消除器117的音频回声波形。第一分量波形212指示从扬声器105耦连到麦克风110的回声是大量的。此外，第一分量波形212还指示麦克风信号强度不足于造成第一分量波形212的限幅（clipping），从而避免了不希望的信号失真。第一分量波形212附加地指示所述麦克风信号强度是足够提供用于它的合适的处理。

第二分量波形214基于在回声消除观测时间205所提供的到它的输入的声学回声信号，对应于声学回声消除器117的输出。如可以看到的，声学回声消除器117的输出（即，第二分量波形214）指示占大比例的声学回声能量仍然包含在声学回声消除器117的输出中。

波形220对应于得到的回声消除信号，如可以由图1的分析单元120所提供的。这里，波形220对应于声学回声消除器117所采用的回声消除滤波器或算法的系数快照（coefficients snapshot）。该波形220典型地提供估算的回声脉冲响应。尽管没有具体地显示出，波形220也可以对应于声学回声消除器117所采用的回声消除滤波器或算法的系数总和（coefficients summation），波形220可以附加地指示输出仍然存在的声学回声能量的水平。

波形220还指示在声学回声消除器117中所应用的回声消除算法消除所述声学回声的程度如何。波形220指示所应用的回声消除算法或滤波器没有有效地消除所述声学回声。

图3A、3B和3C示出了广泛地标示为300、310、320的波形的另一个实例，该实例集中在比图2A至2C稍迟的观测时间。这里，观测时间305对应用于声学回声消除器117中的更新的回声消除设置。这发生在在时间t1对所述声学回声消除器中的回声消除滤波器设置或算法修改之后。这里，该更新的回声消除滤波器或算法设置提供了可接受的回声消除程度。

图3A和3B的波形与图2A和2B中显示为波形200、210的波形是一样的。在回声消除观测时间305，可以看到第一分量波形212指示应用于声学回声消除器117的声学回声能量是像之前一样强的。

然而，表示声学回声消除器117的输出的改进的第二分量波形314指示所述声学回声已经基本上消除（例如，在这个实例中，进一步分析指示声学回声能量已经降低了80dB）。几个背景噪声尖峰（第一尖峰316和第一尖峰318）是可见的且通过音频背景噪声抑制器118降低到了可接受的水平。

波形320进一步指示声学回声消除器117中的所述更新的回声消除算法消除所述声学回声的程度如何。波形320指示所应用的回声消除算法或滤波器正有效地消除所述声学回声。这里所述滤波器系数快照显示了具有指示所述声学回声能量有效去除的一个主峰325（不像对应的波形220）的回声副本状（replica-like）形状。

图4A和4B示出了根据本公开的原理所构建的、广泛地标示为400、450的、采用移动设备和相关联的分开的主机设备的通信系统的实施例的示意图。通信系统400包括由网络420耦连到一起的第一和第二移动设备410、415（第一和第二移动手机410、415）。通信系统400还包括通过数据连接440耦连到第一移动手机410的分开的主机设备430（笔记本电脑430）。

如所示的，通过网络420将到第二手机415的音频输入提供到第一手机410，然后第一手机410可以提供相应的音频输出。第一手机410的音频反射环境造成了该音频输出的声学回声，该声学回声反馈到它的麦克风。如果以“扬声器”模式使用第一手机110，该音频回声反馈可能是尤其严重的。如所示的，被传回的音频以及与第一手机410相关联的音频背景噪声通过网络420发送到第二手机415，从而提供被传回的和背景噪声音频干扰，导致了用于第二手机415的音频质量的降低。

在示出的实施例中，第一手机410不具有声学回声消除或音频背景噪声抑制功能。使用笔记本电脑430以利用数据连接440为第一手机410提供这些声学回声消除器和音频背景噪声抑制器（即，干扰减小单元）的功能。此外，笔记本电脑430还提供了用于所述回声消除和背景噪声抑制以及在它的电脑屏幕上显示它们的相关联的波形的分析单元功能。

在这个实例中，初始回声消除算法不足于降低音频回声到第二手机415所要求的程度。波形440、442、444和448分别对应于图2A、2B和2C所示的波形200、212、214和220，指示该不足的回声消除条件。

图4B对应于稍迟的观测时间，其中，如参照图3A、3B和3C所论述的，更新的回声消除设置（例如，在所述声学回声消除器中的更新的回声消除过滤器或算法设置）提供可接受的回声消除程度。这里，波形440、442、464和468分别对应于图3A、3B和3C所示的波形200、212、314和320，指示该可接受的回声消除程度。

在图4A和4B的实例中，笔记本电脑430使用数据连接440，以从第一手机410接收必要的麦克风信号，用于回声消除和背景噪声抑制。相应地，将回声消除器和背景噪声抑制器输出信号通过数据连接440从笔记本电脑430提供到第一手机410，用于进一步的调节（conditioning）和传送到第二手机415。

图5A和5B示出了根据本公开的原理所构建的、广泛地标示为500、550的、采用移动设备的通信系统的实施例的示意图。通信系统500包括由网络520耦连到一起的第一和第二移动设备510、510（第一和第二智能手机510、515）。在这个实施例中，回声消除器和背景噪声抑制器（即，干扰减小单元）和分析单元包含在第一智能手机510中。此外，使用它的移动设备屏幕来显示与回声消除、背景噪声抑制和分析相关联的波形。

向前面一样，如所示的，通过网络520将到第二智能手机515的音频输入提供到第一智能手机510，然后可第一智能手机510提供相应的音频输出。第一智能手机510的音频反射环境造成了该音频输出的声学回声。该声学回声反馈到它的麦克风造成了待通过网络520发送到第二手机515的被传回的音频以及与第一手机510相关联的音频背景噪声，从而导致了用于第二手机515的音频质量的降低。

如参照图4A所论述的，图5A示出了初始回声消除算法不足于降低音频回声到第二手机515所要求的程度。波形540、542、544和548分别对应于图2A、2B和2C所示的波形200、212、214和220，指示该不足的回声消除条件。

图5B对应于稍迟的观测时间，其中，如参照图3A、3B和3C所论述的，更新的回声消除设置（例如，在所述声学回声消除器中的更新的回声消除过滤器或算法设置）提供可接受的回声消除程度。这里，波形540、542、564和568分别对应于图3A、3B和3C所示的波形200、212、314和320，指示该可接受的回声消除程度。

在图4A、4B、5A和5B示出的实施例中，回声消除、背景噪声抑制和分析功能全部地包含在分开的主机设备或移动设备中。采用本公开的原理的其它实施例可以在所述分开的主机设备和所述移动设备之间分布至少部分这些功能。

图6示出了根据本公开的原理所实施的广泛地标示为600的麦克风信号增强方法的实施例的流程图。方法600开始于步骤605，且在步骤610中，显示对应于遭受音频干扰的麦克风信号的波形。在步骤615，提供了所述麦克风信号的音频干扰的减小。此外，在步骤620，分析减小的音频干扰以提供已经达到音频干扰的所要求的程度的指示。

通常，提供所述音频干扰的减小包括具有音频干扰的麦克风信号的声学回声消除和音频背景噪声抑制。在一个实施例中，所述音频背景噪声抑制耦连到所述声学回声消除，以在达到预选的回声消除程度之后，实时地减小音频背景噪声。此外，分析可以使用归一化最小均方差（NLMS）系数（例如，回声脉冲响应分析）。

控制回声消除或音频背景噪声抑制的算法可以自适应地达到预选的音频干扰减小程度。或者，所述算法可以是用户指导的，以实现预选的音频干扰减小制度。相应地，用户指导的关注（AT）命令可以用于修改所述算法的参数。进一步，所述算法可以包括适应的回声延迟或噪声频谱估算，或经估算的回声或噪声能量，以提供所述音频干扰减小程度。

在另一个实施例中，提供所述音频干扰的减小的至少一部分包含在移动设备或分开的主机设备中。相应地，所述移动设备可以是移动手机、而所述分开的主机设备可以是笔记本电脑。在又一个实施例中，对应于所述麦克风信号的所记录的样图保留在数据记录存储器中，用于附加的分析。相应地，所述附加的分析可以包括音频文件的显示、回放或转换。在进一步的实施例中，麦克风信号强度水平由所述波形实时地指示。所述方法600在步骤625结束。

虽然已经对本文所公开的方法进行描述并且参考按特定顺序所实施的特定步骤加以示出，但是应该理解这些步骤可以合并、细分或重新排序以形成等价的方法，而不脱离本公开的教导。因此，除非本文特别指示，步骤的顺序或分组不是本公开的限制。

与本申请相关的本领域技术人员应该理解可以对所描述的实施例做出其它和进一步的增加、删除、替代和修改。

Claims (10)

1.一种音频增强系统，包括：

显示单元，所述显示单元配置为展示具有扬声器的移动设备的麦克风的麦克风信号的波形，其中所述麦克风信号受到源自所述扬声器的声学回声反馈和与所述移动设备相关联的音频背景噪声的音频干扰；和

干扰减小单元，所述干扰减小单元耦连到所述麦克风信号且配置为提供所述音频干扰的减小，其中所述减小包括在达到预选的回声消除程度之后，实时地减小音频背景噪声，并且减小的音频干扰由所述波形实时地指示。

2.如权利要求1所述的系统，其中，所述干扰减小单元的至少一部分包含在所述移动设备中或具有到所述移动设备的数据连接的分开的主机设备中。

3.如权利要求2所述的系统，其中，所述移动设备是移动手机，且所述分开的主机设备是笔记本电脑。

4.如权利要求1所述的系统，其中，所述干扰减小单元包括耦连到音频背景噪声抑制器的声学回声消除器，以提供所述减小的音频干扰。

5.如权利要求4所述的系统，其中，所述音频背景噪声抑制器配置为在达到预选的回声消除程度之后，实时地减小音频背景噪声。

6.如权利要求1所述的系统，其中，所述系统进一步包括分析单元，所述分析单元耦连到所述干扰减小单元，并配置为分析所述减小的音频干扰和指示所要求音频干扰减小程度的达成。

7.如权利要求6所述的系统，其中，分析包括归一化最小均方差(NLMS)系数。

8.如权利要求1所述的系统，其中，与所述麦克风信号相对应的记录的样图被保留在数据记录存储器中用于附加的分析，所述附加的分析包括音频文件的显示、回放或转换。

9.如权利要求4所述的系统，其中，所述显示单元进一步配置为显示第一附加波形和第二附加波形，所述第一附加波形与应用于所述扬声器的扬声器波形相对应，所述第二附加波形指示由所述声学回声消除器实施的声学回声消除。

10.如权利要求1所述的系统，其中，麦克风信号强度由波形实时地指示。