CN106297816A - 一种回声消除的非线性处理方法和装置及电子设备 - Google Patents

Abstract

本发明提供一种回声消除的非线性处理方法和装置及电子设备。该方法包括：自播放下行语音信号之后，将混合上行信号与预估回声信号进行能量比较；根据能量比较结果从所述混合上行信号中去除回声。本发明实施例提供的回声消除的非线性处理方法和装置及电子设备，通过判断正常语音信号和预估回声信号的能量对比，能够对线性处理之后的残余回声进行有效消除。并且，对前端的线性处理复杂度要求低，从而降低了整个回声消除系统的复杂度和实现成本，降低了对设备处理能力的依赖。

Description

一种回声消除的非线性处理方法和装置及电子设备

技术领域

本发明实施例涉及音频信号处理技术，尤其涉及一种回声消除的非线性处理方法和装置及电子设备。

背景技术

使用电子设备(例如无线手机)进行通话时，常常会产生声学回声现象。此现象是由于电子设备的扬声器(听筒或喇叭)发送出的声音，经过外界传播(例如空气、本地设备固体震动、外界墙体反射等)，再由麦克风获取的信号，称之为声学回声。通话过程中电子设备的使用者也在向麦克风发送正常语音，此时麦克风获取的语音信号就会是由正常语音和回声所构成的混合信号。回声现象必然会对通话质量造成影响，因此需要将其进行消除。

图1所示为现有回声消除原理的示意图。电子设备设置有麦克风111和扬声器110，电子设备中配置的回声消除装置主要包括线性处理模块121和非线性处理模块122。处于通话状态中的电子设备接收到来自网络侧的下行语音信号，通过本地扬声器110将其播放到外界。此时，正在工作的麦克风111录取的外界声音信号就会包含两部分：扬声器110传播到空气中的下行语音信号101产生的回声102以及使用者的正常通话，即正常语音信号103。正常语音信号103是通话对方期望获取的正常信号，回声102对于通信来讲是一种干扰。正常语音信号和回声共同构成了原始混合上行信号104。回声消除的目标就是去除回声102。

传统回声消除装置通常包含两部分：线性处理模块121和非线性处理模块122。线性处理模块通常采用自适应线性滤波器120的形式，建模下行语音信号101和原始混合上行信号104之间的传递函数，并持续检测该传递函数来记录声学回声路径中的变化。自适应线性滤波器120输出非常接近原始混合上行信号104的回声102部分。从麦克风111录取的原始混合上行信号104中减去自适应线性滤波器120的输出便可降低回声。

但是现有技术存在的缺陷在于，由于自适应线性滤波器120无法完全精确，因此在线性自适应减法运算之后总是存在残余回声，因此需要非线性处理模块122来进一步降低残余回声，以获取无干扰的、干净的上行语音信号105。现有非线性处理模块122的残余回声消除处理，对于自适应线性滤波器120的处理水平依赖性高，造成了产品成本高、回声消除处理效果差的问题。

发明内容

本发明提供一种回声消除的非线性处理方法和装置及电子设备，以使得回声消除过程降低对自适应线性滤波水平的依赖性，改善回声消除效果。

第一方面，本发明实施例提供了一种回声消除的非线性处理方法，包括：

自播放下行语音信号之后，将混合上行信号与预估回声信号进行能量比较；

根据能量比较结果从所述混合上行信号中去除回声。

第二方面，本发明实施例还提供了一种回声消除的非线性处理装置，包括：

能量比较单元，用于自播放下行语音信号之后，将混合上行信号与预估回声信号进行能量比较；

回声去除单元，用于根据能量比较结果从所述混合上行信号中去除回声。

第三方面，本发明实施例又提供了一种电子设备，包括扬声器和麦克风，，还包括：回声消除模块，所述回声消除模块包括线性处理模块和非线性处理模块，所述非线性处理模块采用本发明任意实施例所提供的回声消除的非线性处理装置。

本发明实施例提供的回声消除的非线性处理方法和装置及电子设备，通过判断正常语音信号和预估回声信号的能量对比，能够对线性处理之后的残余回声进行有效消除。并且，对前端的线性处理复杂度要求低，从而降低了整个回声消除系统的复杂度和实现成本，降低了对设备处理能力的依赖。

附图说明

图1为现有回声消除原理的示意图；

图2为本发明实施例所适用的电子设备回声消除原理示意图；

图3为本发明实施例一提供的一种回声消除的非线性处理方法的流程图；

图4为本发明实施例进行残余回声判断检测的原理；

图5为本发明实施例二提供的一种回声消除的非线性处理方法的流程图；

图6为本发明实施例三提供的一种回声消除的非线性处理装置的结构示意图；

图7为本发明实施例四提供的一种电子设备的结构示意图；

图8为本发明实施例进行非线性回声消除处理过程中的语音信号处理效果示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

本发明可在此通过功能模块组件和各种处理步骤进行描述。这些功能模块可以以任何数量的硬件组件或软件单元通过配置来实现指定的功能。例如，本发明可以使用各种集成电路元件，如存储器元件，数字信号处理单元，逻辑单元，数据表格等，在一个或多个微处理器或其它控制装置的控制下实现各种功能。此外，本领域技术人员会明白，本发明与任何数据和语音传输协议完全兼容，所以在此描述的系统仅仅是本发明的一个示范性应用。

在本文中描述的任何具体实现只是为了更好地介绍本发明以及其最佳工作模式，不应该被理解成为对本发明的任何形式的限制。为了简化起见，传统的技术如信号处理，数据传输，信令，分组交换传输，网络控制，及其它系统功能(以及系统的各个操作部件)可能不会在这里详细介绍，但熟练的从业人员应该对它们有足够的了解。此外，图中的各种元件之间的连接线是示范性的连接不同组件的功能关系和/或物理连接。应该指出的是，许多替代或附加功能关系或物理连接可以在一个实际的通信系统应用里实现。

首先介绍本发明实施例所适用的电子设备回声消除原理示意图，如图2所示，电子设备设置有麦克风210和扬声器211，电子设备中配置的回声消除装置主要包括线性处理模块221和非线性处理模块222。处于通话状态中的电子设备接收到来自网络侧的下行语音信号205，通过本地扬声器211将其播放到外界。此时，正在工作的麦克风210录取的外界声音信号就会包含两部分：扬声器210传播到空气中的下行语音信号205产生的回声201以及使用者的正常通话，即正常语音信号202。正常语音信号202是通话对方期望获取的正常信号，回声201对于通信来讲是一种干扰。正常语音信号202和回声201共同构成了原始混合上行信号203。回声消除的目标就是去除回声203。

回声203首先经过线性处理模块221进行线性处理，但仍然会有残余的回声203存在于混合上行信号中。混合上行信号再经过非线性处理模块222进行处理。本发明实施例主要对非线性处理模块222的处理方式进行处理，而对线性处理模块221的处理方式并不进行限制。

实施例一

图3为本发明实施例一提供的一种回声消除的非线性处理方法的流程图，本实施例可适用于对电子设备中的回声进行消除的情况，且主要涉及非线性处理方式对残余回声的消除。本实施例的方法具体可以由回声消除的非线性处理装置来执行，该装置即可作为电子设备中的非线性处理模块。

该方法具体包括如下步骤：

步骤310、自播放下行语音信号之后，将混合上行信号与预估回声信号进行能量比较；

该混合上行信号具体可以是经过回声线性处理消除后的混合上行信号，其中包括有正常语音信号和残余的回声信号。

信号的能量比较优选是在多个时间点进行比较，且具体可以是：将下行语音信号的播放时间作为初始时间点；在初始时间点以及初始时间点后的至少一个设定时间点，将混合上行信号与预估回声信号进行能量比较。通过后续的原理介绍可知，在有限的时间点进行能量比较和回声消除已经能够满足残余回声消除的效果要求。

步骤320、根据能量比较结果从所述混合上行信号中去除回声。

步骤320具体可以是：

如果混合上行信号的能量大于或等于预估回声信号的能量，则将所述混合上行信号确定为正常语音信号进行保留；

如果混合上行信号的能量小于预估回声信号的能量，则将所述混合上行信号确定为回声进行去除。

实际操作中也可以再结合其他因素来考虑能量比较结果，例如进一步考虑能量差值与至少一个设定阈值之间的关系，进而判断混合上行信号为回声，还是为正常语音信号。

结合图4介绍本发明实施例的实现原理如下：

图4示出了本发明实施例进行残余回声判断检测的原理。以某一个单一语音信号的回声检测为例，图中横轴T为时间轴，此处所描述的回声是经过线性处理之后消除不掉的残余回声。

时间点T0作为下行语音信号的播放时间，由于时间差别非常微小，所以播放时间通常就是电子设备接收到原始下行语音信号S0的时间点。信号S0的信号能量为E0，即初始时间点T0时播放的下行语音信号的能量，具体可以根据接收到的下行语音信号的能量以及电子设备扬声器的扩音参数进行确定。信号S0经过本地电子设备的扬声器播放后，会经过外界的多种途径传播，例如通过空气、本地电子设备固体震动、外界墙体反射等，由麦克风再次收到的回声信号和信号S0相比会产生延时和衰减。根据声音传播的特性，结合电子设备本身的硬件特征(材质、大小尺寸、扬声器和麦克风的距离等)，可以估计出回声信号衰减随时间变化的模型，如图4中的包络曲线401所示。例如，通过电子设备硬件本身的传导速度会相对较快，衰减也小。通过空气传输，再经墙壁反射的传导速度会相对最弱，衰减最大。在衰减最小的回声与衰减最大的回声之间还会中间的衰减回声，因此，信号S0的回声会随着时间的推移而进行变化，主要的变化趋势是发生衰减。所以，所述预估回声信号的能量优选是随着时间发生衰减。可以基于经验值，或通过调试的方式确定此包络曲线401代表的能量值，该能量值即作为预估回声信号的能量。

预估在T0之后的T1，T2，…，Tn等各设定时间点，所可能接收到的回声信号记为S1，S2，…，Sn，各时间点的回声信号的最大能量预估不超过E1，E2，…，En。因此，可将混合上行信号与预估回声信号进行能量比较，并根据比较结果确定当前的混合上行信号为残余回声，还是正常语音信号。

当然，回声可能与正常语音信号发生叠加而难以区分。但是实际使用中，一方面通话时通常只有一方在说话，所以发生正常语音信号与回声重叠发生的几率较小。另一方面，因为已经经过了线性处理过程，所以残余回声的能量相对较小，即使与正常语音信号发生叠加，也不会造成对听者的过度干扰。所以采用本实施例的方法可以一定程度上消除残余回声。

具体实现时，将预估的回声衰减时间Tn划分成预设的时间点，可以按照等间隔划分，也可以按照其他间隔划分。Tn的时间间隔和电子设备有关。通常电子设备中对于通话语音信号的处理是以信号帧为单位的，帧长可以是若干音频PCM采样数，也可以是若干毫秒的长度。Tn可以是一帧的长度，也可以是多帧的长度。

当处理混合上行信号时，在T1时间点，判断到信号S1能量小于E1，那么即认为此时的信号S1是S0的残余回声，即将其去除；如果判断到信号S1能量大于E1，则认为此时的信号S1是正常语音信号，则予以保留。在T2到Tn的各时间点采用同样的判断处理。基于通话过程中的实际情况，使用者发出的上行语音能量必定大大超过回声能量，因此此种判断检测机制不会产生误判而将正常语音消除。因此此种方法可以最大限度的消除干净残余回声并保留正常上行语音。

优选是，残余回声信号Si(i＝1,2,…,n)的能量Ei(i＝1,2,…,n)可以通过原始下行信号S0的能量E0进行推算，即各设定时间点的预估回声信号能量按照如下公式确定：

Ei＝E0×FACTORi

其中，E0为所述初始时间点T0时播放的下行语音信号的能量；

i＝1,2,…,n，n为设定时间点的数量；

FACTORi为各设定时间点的回声能量衰减因子，为小于1的小数，可以用浮点数来表示；

Ei为i时间点的预估回声信号能量。

其中，所述回声能量衰减因子可以随着时间递减；或，各设定时间点的所述回声能量衰减因子也可以相同或不同。回声能量衰减因子能够反映实际的不同情况的回声衰减变化过程即可。

采用本发明实施例的技术方案，仅需在有限的数个设定时间点，如T1、T2……Tn上检测若干个信号S1、S2、……、Sn。由扬声器发出的下行语音信号的回声传递回到麦克风，所需时间必定是有限的。如果电子设备处于一个较大的空间，声音通过外界较远的地方反射回到麦克风形成的回声可能所需的时间会较长，但是经过衰减后其能量也会很弱。因此，回声检测过程无需覆盖到Tn之后的时间点，可以认为这个时间之后的回声信号的能量已经足够弱小，不会对通话产生影响。

在传统的回声消除方法中，由于通常使用的非线性处理方法能够消除的残余回声非常有限，因此必须使用一种复杂度较高、阶数较高的自适应滤波器来实现线性处理，也就是通过线性处理将绝大部分回声消除后，再使用非线性处理来消除较少的残余回声。和传统非线性回声消除方法相比，本发明的优势在于，使用本发明非线性处理方法的回声消除技术，在线性处理部分不需使用高复杂度的自适应滤波器，即使经过线性处理后的残余回声较多，也可以通过本发明实施例提供的非线性处理技术予以消除。而且本发明实施例的方法通过判断正常语音信号和预估回声信号的能量对比，符合人们通话的心理声学特性，即使残留有微小回声也是不会被人察觉、不影响通话过程的，而且会更贴近自然通话效果。本发明实施例提供的非线性处理方法对前端的线性处理复杂度要求低，从而降低了整个回声消除系统的复杂度和实现成本，降低了对设备处理能力的依赖。

虽然本发明实施例提供的非线性处理方法所需要的前端线性处理复杂度可以降低，但是如果前端使用传统的高复杂度、高阶数自适应滤波器来进行线性处理，本发明的非线性处理方法仍然可以被使用，并且不会带来负面影响。

实施例二

图5为本发明实施例二提供的一种回声消除的非线性处理方法的流程图，本实施例以前述实施例为基础，提供了一优选实例，包括如下步骤：

步骤501、在当前时间点T0(t)获取下行语音信号S0(t)；

步骤502、计算下行语音信号S0(t)的能量E0(t)；

步骤503、根据能量E0(t)计算预估回声能量Ei(t)，其中，i＝1、2、……、n；

步骤504、判断是否到达设定时间点Ti(t)，若是，则执行步骤505，若否，则返回执行步骤504；

步骤505、获取当前的混合上行信号，并计算能量Eu；

步骤506、判断能量Eu是否小于当前设定时间点Ti(t)对应的预估回声能量Ei(t)，若是，则执行步骤507，若否，则执行步骤508；

步骤507、将当前混合上行信号确定为残余回声Si(t)，并予以消除，返回步骤504；

步骤508、将当前混合上行信号确定为正常语音信号，不作处理，予以保留，返回步骤504。

步骤504中，直至所有设定时间点均已到达，则结束信号S0(t)的回声消除。对于各时间点接收到的下行语音信号，可以采用如上方式进行残余回声消除。

每个初始时间点的下行语音信号消除过程所持续的时间视具体电子设备的硬件音频特性以及其所设定的通用通信场景而确定。例如当电子设备具备一个高灵敏度麦克风时，那么能够捕捉较弱的回声信号，因此需要将消除时间适当延长，反之则缩短。例如此电子设备所设定的通用通话场景是只关注用户处于一个小于方圆3米的封闭空间内的回声消除，那么回声消除时间只需要考虑到声音传播到3米外的墙体后反弹回的时间。如果超过此时间则认为回声已经衰减的足够弱，不会对正常通话造成影响。如果由于回声消除时间较长而发生各时间点的下行语音信号的回声消除过程重叠时，则对于某一时间点，多个下行语音信号的预估回声能量可以进行叠加，以对混合上行信号的能量进行比较。

实施例三

图6为本发明实施例三提供的一种回声消除的非线性处理装置的结构示意图，该装置包括：能量比较单元610和回声去除单元620。

其中，能量比较单元610，用于自播放下行语音信号之后，将混合上行信号与预估回声信号进行能量比较；回声去除单元620，用于根据能量比较结果从所述混合上行信号中去除回声。

优选是，所述回声去除单元620具体用于：如果混合上行信号的能量大于或等于预估回声信号的能量，则将所述混合上行信号确定为正常语音信号进行保留；如果混合上行信号的能量小于预估回声信号的能量，则将所述混合上行信号确定为回声进行去除。

所述能量比较单元610具体用于：将下行语音信号的播放时间作为初始时间点；在初始时间点以及初始时间点后的至少一个设定时间点，将混合上行信号与预估回声信号进行能量比较。

各设定时间点的预估回声信号能量可以按照如下公式确定：

Ei＝E0×FACTORi

其中，E0为所述初始时间点T0时播放的下行语音信号的能量；

i＝1,2,…,n，n为设定时间点的数量；

FACTORi为各设定时间点的回声能量衰减因子，为小于1的小数，所述衰减因子随着时间发生递减；

Ei为i时间点的预估回声信号能量。

上述装置可执行本发明任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。

实施例四

图7为本发明实施例四提供的一种电子设备的结构示意图，该电子设备包括扬声器和麦克风，还包括：回声消除模块，所述回声消除模块包括线性处理模块和非线性处理模块，所述非线性处理模块采用本发明任意实施例所提供的回声消除的非线性处理装置。

图7中的信号传输可参考前述图2及相关介绍。优选是，在本实施例中，非线性处理模块222设置了非线性处理器(Non-Linear Processor，简称NLP)223和舒适噪声产生器(Comfortable Noise Generator，CNG)224两个子模块。非线性处理器实施本发明任意实施例所提供的回声消除的非线性处理方法。

舒适噪声产生器224进一步为上行语音信号添加了舒适噪音信号。下面结合图8中的语音信号处理效果，来说明图7中各功能模块的作用。

首先由麦克风210录取的原始混合上行信号203经过线性处理模块211后能够消除部分回声，如图8第一列所示。经过线性处理后的混合上行信号810有三种典型的信号组成：上行语音信号811，线性处理之后的残余回声812以及使用者本地背景噪音813。需要说明的是，本地背景噪音813是经过降噪处理之后的低能量噪音，此类信号属于舒适噪音，而不是会使人产生烦躁、影响通话或对人身体产生伤害的噪音。

图8中第二列所示为经过非线性处理器处理自后的上行信号820，在NLP消除段822中，已经能够将残余回声消除得非常干净。由于本地背景噪音813和残余回声812的相似特性，非线性处理也会将本地背景噪声813消除。因此将信号810输入到图7中的NLP处理之后，会形成信号820般的波形。仅剩余上行语音信号821，而NLP消除段822的信号全部被消除了。基于人类语音的特点和通话的习惯，如NLP消除段822般绝对静音的信号会让通话感受变得非常不舒服，相当于破坏了正常的语音信号。

为了最大限度的保证通话质量，使语音信号贴近自然效果，图7中的CNG 224可以提取经过线性处理的混合上行信号810中的上行语音信号813的信号特性，以此为依据来产生匹配本地背景环境的模拟舒适噪音。如前文所述，舒适噪音是一类特殊的噪音，对保持通话自然性非常重要。CNG 224产生的模拟舒适噪音832被添加到NLP消除段822中，形成如模拟舒适噪音添加之后的上行信号830。此时的上行信号830即可以保持最自然、最清晰的状态。

如图7中所示，回声201源自于下行语音信号205。回声和原声的特性是基本一致的。因此NLP 223可获取原始下行语音信号205，以此来估计回声201的残留回声特性，从而可以更有效更干净的除去残留回声。

本发明主要关注是非线性处理模块，提出了一种新的非线性处理方法，更有效的去除残留回声并最大限度的保持语音的自然度和保持通话的正常性。

本发明可以使用在任何音频采样率的系统中。任何语音信号的处理都是本发明的应用范围。

本发明可以使用硬件，软件或它们的组合来实现，也可以用一个计算机系统或其它处理系统来实现。电脑和其他处理系统有多种形式，包括无线移动手机，平板电脑，笔记本电脑，台式电脑等可以进行实时通话的电子设备。

前文描述了本发明的各种示范性实施案例，它们应该被理解为只是范例而非限制。因此，本发明的广度和范围应该不受上述任何一个示范性实施案例的限制，而只应该按符合下列权利要求及其对应项来界定。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种回声消除的非线性处理方法，其特征在于，包括：

自播放下行语音信号之后，将混合上行信号与预估回声信号进行能量比较；

根据能量比较结果从所述混合上行信号中去除回声。

2.根据权利要求1所述的方法，其特征在于，根据能量比较结果从所述混合上行信号中去除回声包括：

如果混合上行信号的能量大于或等于预估回声信号的能量，则将所述混合上行信号确定为正常语音信号进行保留；

如果混合上行信号的能量小于预估回声信号的能量，则将所述混合上行信号确定为回声进行去除。

3.根据权利要求2所述的方法，其特征在于，自播放下行语音信号之后，将混合上行信号与预估回声信号进行能量比较包括：

将下行语音信号的播放时间作为初始时间点；

在初始时间点以及初始时间点后的至少一个设定时间点，将混合上行信号与预估回声信号进行能量比较。

4.根据权利要求3所述的方法，其特征在于：所述预估回声信号的能量随着时间发生衰减。

5.根据权利要求4所述的方法，其特征在于，各设定时间点的预估回声信号能量按照如下公式确定：

Ei＝E0×FACTORi

其中，E0为所述初始时间点T0时播放的下行语音信号的能量；

i＝1,2,…,n，n为设定时间点的数量；

FACTORi为各设定时间点的回声能量衰减因子，为小于1的小数；

Ei为i时间点的预估回声信号能量。

6.一种回声消除的非线性处理装置，其特征在于，包括：

能量比较单元，用于自播放下行语音信号之后，将混合上行信号与预估回声信号进行能量比较；

回声去除单元，用于根据能量比较结果从所述混合上行信号中去除回声。

7.根据权利要求6所述的装置，其特征在于，所述回声去除单元具体用于：

如果混合上行信号的能量大于或等于预估回声信号的能量，则将所述混合上行信号确定为正常语音信号进行保留；

如果混合上行信号的能量小于预估回声信号的能量，则将所述混合上行信号确定为回声进行去除。

8.根据权利要求7所述的装置，其特征在于，所述能量比较单元具体用于：

将下行语音信号的播放时间作为初始时间点；在初始时间点以及初始时间点后的至少一个设定时间点，将混合上行信号与预估回声信号进行能量比较。

9.根据权利要求8所述的装置，其特征在于，各设定时间点的预估回声信号能量按照如下公式确定：

Ei＝E0×FACTORi

其中，E0为所述初始时间点T0时播放的下行语音信号的能量；

i＝1,2,…,n，n为设定时间点的数量；

FACTORi为各设定时间点的回声能量衰减因子，为小于1的小数，所述衰减因子随着时间发生递减；

Ei为i时间点的预估回声信号能量。

10.一种电子设备，包括扬声器和麦克风，其特征在于，还包括：

回声消除模块，所述回声消除模块包括线性处理模块和非线性处理模块，所述非线性处理模块采用权利要求6-9任一所述的回声消除的非线性处理装置。