CN105825865B - 噪声环境下的回声消除方法及系统 - Google Patents

Abstract

本发明提供一种噪声环境下的回声消除方法及系统，方法包括：将语音时域输入信号复制成两路相同的第一时域输入信号和第二时域输入信号；分别对第一时域输入信号和第二时域输入信号做如下处理：将第一时域输入信号转换成第一频域输入信号后进行语音增强处理，据以获得各频点的第一增益值；将第二时域输入信号转换成第二频域输入信号后进行非线性回声处理，据以获得各频点的第二增益值；将第一增益值和第二增益值叠加至第一频域输入信号或第二频域输入信号的各频点，据以生成第三频域输入信号；对第三频域输入信号进行傅里叶逆变换以生成语音时域输出信号。通过对语音信号同时进行语音增强和回声消除，有效避免了二者由于先后顺序而造成的相互干扰。

Description

噪声环境下的回声消除方法及系统

技术领域

本发明涉及语音处理领域，特别是涉及一种噪声环境下的回声消除方法及系统。

背景技术

在语音通话过程中，需要对语音信号进行声学处理，以获得让用户清晰可懂的语音信号。语音通话声学处理分上行麦克输入信号处理和下行送至扬声器信号处理。其中，语音增强和回声消除是上行语音信号处理中不可或缺的重要部分。语音增强主要用于噪声环境下消除麦克风采集到的噪声并保留语音，以提高语音的清晰度；回声消除则主要用于消除混入麦克风中的喇叭信号，防止通话对方听到自己的回声。

通常，语音通话声学处理分两种顺序进行，一种是先进行回声消除再进行语音增强，另一种是先进行语音增强再进行回声消除。其中，前者能保证回声消除的性能，但语音增强由于噪声特性会遭到前置回声消除的破坏，以致无法准确计算噪声特性，语音增强性能下降；后者能保证语音增强的性能，但语音增强处理增加了回声与回声参考信号的非线性，导致回声消除性能下降。

可见，两种方法都存在其自身的缺陷。在实际使用中，通常需要采用更多复杂算法对这些缺陷进行各种补偿，效率低下。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种噪声环境下的回声消除方法及系统，用于解决现有技术中语音通话声学处理效率低下的问题。

为实现上述目的及其他相关目的，本发明提供一种噪声环境下的回声消除方法，包括：将语音时域输入信号复制成两路相同的第一时域输入信号和第二时域输入信号；分别对所述第一时域输入信号和所述第二时域输入信号做如下处理：将所述第一时域输入信号转换成第一频域输入信号后进行语音增强处理，据以获得各频点的第一增益值；将所述第二时域输入信号转换成第二频域输入信号后进行非线性回声处理，据以获得各频点的第二增益值；将所述第一增益值和第二增益值叠加至所述第一频域输入信号或第二频域输入信号的各频点，据以生成第三频域输入信号；对所述第三频域输入信号进行傅里叶逆变换以生成语音时域输出信号。

在一实施例中，还包括：将所述语音时域输入信号进行分帧处理后复制成两路相同的第一时域输入信号和第二时域输入信号。

在一实施例中，还包括：将所述第二时域输入信号转换成所述第二频域输入信号前进行自适应回声滤波处理。

在一实施例中，还包括：当检测到回声参考信号时，分别计算：单讲状态下所述语音时域输入信号的帧时域能量与所述回声参考信号的帧时域能量的第一比值；滤波后的所述第二频域输入信号的各频域子带能量与所述回声参考信号的对应频域子带能量的第二比值，其中，各所述频域子带是以预设带宽划分整个频域生成的；当检测到存在所述第二比值小于所述第一比值与第一预设百分比的乘积的频域子带时，将该频域子带内各频点的所述第二增益值设置为零。

在一实施例中，还包括：计算幅度谱，其中，所述幅度谱是由所述语音时域输出信号的功率谱与第二预设百分比的乘积加上所述语音增强处理中的噪声功率谱生成的；生成白噪声频谱；通过所述幅度谱的算术平方根与所述白噪声频谱的乘积计算得到舒适噪声频谱；对所述舒适噪声频谱进行傅里叶逆变换以生成舒适噪声时域信号；判断所述回声参考信号是否为语音信号；若是，则将所述舒适噪声时域信号与所述语音时域输出信号叠加后输出；若否，则直接输出所述语音时域输出信号。

为实现上述目的及其他相关目的，本发明提供一种噪声环境下的回声消除系统，包括：预处理模块，用于将语音时域输入信号复制成两路相同的第一时域输入信号和第二时域输入信号；第一处理模块，用于将所述第一时域输入信号转换成第一频域输入信号后进行语音增强处理，据以获得各频点的第一增益值；第二处理模块，用于将所述第二时域输入信号转换成第二频域输入信号后进行非线性回声处理，据以获得各频点的第二增益值；合并模块，用于将所述第一增益值和第二增益值叠加至所述第一频域输入信号或第二频域输入信号的各频点，据以生成第三频域输入信号；转换模块，用于对所述第三频域输入信号进行傅里叶逆变换以生成语音时域输出信号。

在一实施例中，所述预处理模块还用于：将所述语音时域输入信号复制成两路相同的第一时域输入信号和第二时域输入信号前进行分帧处理。

在一实施例中，所述第二处理模块还用于：将所述第二时域输入信号转换成所述第二频域输入信号前进行自适应回声滤波处理。

在一实施例中，还包括：检测模块，用于检测回声参考信号；第一计算模块，用于当检测到所述回声参考信号时，计算单讲状态下所述语音时域输入信号的帧时域能量与所述回声参考信号的帧时域能量的第一比值；第二计算模块，用于当检测到所述回声参考信号时，计算滤波后的所述第二频域输入信号的各频域子带能量与所述回声参考信号的对应频域子带能量的第二比值，其中，各所述频域子带是由所述预处理模块以预设带宽划分整个频域生成的；第三处理模块，用于当检测到存在所述第二比值小于所述第一比值与第一预设百分比的乘积的频域子带时，将该频域子带内各频点的所述第二增益值设置为零。

在一实施例中，还包括：第三计算模块，用于计算幅度谱，其中，所述幅度谱是由所述语音时域输出信号的功率谱与第二预设百分比的乘积加上所述语音增强处理中的噪声功率谱生成的；生成模块，用于生成白噪声频谱；第四计算模块，用于通过所述幅度谱的算术平方根与所述白噪声频谱的乘积计算得到舒适噪声频谱；所述转换模块，还用于对所述舒适噪声频谱进行傅里叶逆变换以生成舒适噪声时域信号；第四处理模块，用于判断所述回声参考信号是否为语音信号；若是，则将所述舒适噪声时域信号与所述语音时域输出信号叠加后输出；若否，则直接输出所述语音时域输出信号。

为实现上述目的及其他相关目的，本发明提供一种语音装置，包括如上任一所述的噪声环境下的回声消除系统。

如上所述，本发明的噪声环境下的回声消除方法及系统，通过对语音信号同时进行语音增强和回声消除，在并行处理后通过在频域将各自计算的增益相乘来合并语音增强和回声消除的效果，有效避免了二者由于处理顺序而造成的相互干扰，提高处理效率。

附图说明

图1显示为本发明一实施例中的噪声环境下的回声消除方法流程图。

图2显示为本发明另一实施例中的噪声环境下的回声消除方法流程图。

图3显示为本发明又一实施例中的噪声环境下的回声消除方法流程图。

图4显示为本发明一实施例中的噪声环境下的回声消除系统模块图。

图5显示为本发明另一实施例中的噪声环境下的回声消除系统模块图。

图6显示为本发明又一实施例中的噪声环境下的回声消除系统模块图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

常用的语音增强算法会破坏回声与下行回声参考信号的线性度，这给回声消除带来很大的困难，因此将回声消除置于语音增强前面，避免回声消除受到语音增强的影响。然而，在回声较大时，回声消除会破坏原有的噪声特性，导致语音增强算法对噪声进行估计时无法获得准确的噪声特性，因此又需将语音增强置于回声消除前，以避免语音增强受到回声消除模块的影响。

请参阅图1，为了解决上述矛盾，本发明提出一种噪声环境下的回声消除方法，将输入麦克采集信号分成两路相同信号流，同时进行语音增强和回声消除。这样，语音增强与回声消除均是对原有麦克输入信号进行处理，以避免对彼此的相互影响。在分别进行语音增强和回声消除后，引入一个合并处理方法，即在频域对两个算法的参数进行合并，形成单条信号作为输出信号，具体地，包括如下步骤：

步骤S101：将语音时域输入信号x复制成两路相同的第一时域输入信号x和第二时域输入信号x。优选的，对信号的处理以帧为单位，每帧处理样点数根据采样率和需求确定。

步骤S102：将所述第一时域输入信号x转换成第一频域输入信号后进行语音增强处理，据以获得各频点的第一增益值G1(k)，其中k表示频点索引号。其中，语音增强方法包括：谱减法、维纳滤波法等。

步骤S103：将所述第二时域输入信号x转换成第二频域输入信号后进行回声消除处理，优选的，先经自适应回声滤波后获得信号e，然后对信号e进行非线性回声处理，以获得频域上各频点的增益值G2(k)，其中k表示频点索引号。

步骤S104：将所述第一增益值和第二增益值叠加至所述第一频域输入信号或第二频域输入信号的各频点，据以生成第三频域输入信号，即令增益值G(k)＝G1(k)*G2(k)，将增益G(k)施加至e的频谱E(k)，即令频谱Y(k)＝E(k)*G(k)。

步骤S105：对所述第三频域输入信号进行傅里叶逆变换以生成语音时域输出信号，即对Y(k)进行傅立叶逆变换，得到语音增强和回声消除后的语音时域输出信号y。

需要说明的是，在上述步骤中，还可以将语音时域输入信号x转换为频域信号后再复制成两路相同的信号流，分别进行语音增强、回声消除。

请参阅图2，为了更好地消除残留回声，本发明进一步提出消除残留回声的方法，包括：

步骤S201：当检测到回声参考信号r时，同步执行步骤S202和S203。

步骤S202：计算单讲状态下所述语音时域输入信号x的帧时域能量Ex与所述回声参考信号r的帧时域能量Er的第一比值a，即a＝Ex/Er，比例关系a用来表征回声强度。

步骤S203：计算滤波后的所述第二频域输入信号的各频域子带能量Ee(m)与所述回声参考信号r的对应频域子带能量Re(m)的第二比值b(m)，即b(m)＝Ee(m)/Re(m)，其中，m表示子带索引号，各所述频域子带优选为以预设带宽划分整个频域生成的。

步骤S204：判断是否存在所述第二比值小于所述第一比值与第一预设百分比的乘积的频域子带，即判断b(m)<a*c？若有，则执行步骤S205；若无，则不做操作。

步骤S205：将该频域子带内各频点的所述第二增益值设置为零，即G2(k)＝0，从而达到消除残留回声的目的。

请参阅图3，为了更好得提升噪声环境下回声消除后语音信号的自然度，本发明还引入了一种舒适噪声产生方法，包括：

步骤S301：计算幅度谱Gn(k)，其中，所述幅度谱Gn(k)是由所述语音时域输出信号y的功率谱Y(k)与第二预设百分比的乘积加上所述语音增强处理中的噪声功率谱P(k)生成的，即Gn(k)＝P(k)+Y(k)*d。

步骤S302：生成白噪声频谱W(k)。

需要说明的是，步骤S301与S302顺序上没有先后限制。

步骤S303：通过所述幅度谱的算术平方根与所述白噪声频谱的乘积计算得到舒适噪声频谱N(k)，即N(k)＝W(k)*sqrt[Gn(k)]。

步骤S304：对所述舒适噪声频谱N(k)进行傅里叶逆变换以生成舒适噪声时域信号gn。

步骤S305：判断所述回声参考信号r是否为语音信号。若否，则执行步骤S306；若是，则执行步骤S307。

步骤S306：则直接输出所述语音时域输出信号y。

步骤S307：将所述舒适噪声时域信号gn与所述语音时域输出信号y叠加后输出。

请参阅图4，与上述方法实施例原理相似的是，本发明提供一种噪声环境下的回声消除系统，由于方法实施例中的技术特征也可应用于本系统实施例，因而不再重复赘述。所述系统包括：预处理模块401、第一处理模块402、第二处理模块403、合并模块404和转换模块405。

预处理模块401将语音时域输入信号复制成两路相同的第一时域输入信号和第二时域输入信号。第一处理模块402将所述第一时域输入信号转换成第一频域输入信号后进行语音增强处理，据以获得各频点的第一增益值。第二处理模块403将所述第二时域输入信号转换成第二频域输入信号后进行非线性回声处理，据以获得各频点的第二增益值。合并模块404将所述第一增益值和第二增益值叠加至所述第一频域输入信号或第二频域输入信号的各频点，据以生成第三频域输入信号。转换模块405对所述第三频域输入信号进行傅里叶逆变换以生成语音时域输出信号。

优选的，所述预处理模块401还用于：将所述语音时域输入信号复制成两路相同的第一时域输入信号和第二时域输入信号前进行分帧处理。所述第二处理模块403还用于：将所述第二时域输入信号转换成所述第二频域输入信号前进行自适应回声滤波处理。

请参阅图5，在一实施例中，还包括：检测模块501、第一计算模块502、第二计算模块502和第三处理模块504。

检测模块501检测回声参考信号。当检测到所述回声参考信号时，第一计算模块502计算单讲状态下所述语音时域输入信号的帧时域能量与所述回声参考信号的帧时域能量的第一比值，第二计算模块503计算滤波后的所述第二频域输入信号的各频域子带能量与所述回声参考信号的对应频域子带能量的第二比值，其中，各所述频域子带是由所述预处理模块以预设带宽划分整个频域生成的。第三处理模块504用于检测是否存在所述第二比值小于所述第一比值与第一预设百分比的乘积的频域子带，如有则将该频域子带内各频点的所述第二增益值设置为零。

请参阅图6，在一实施例中，还包括：第三计算模块601、生成模块602、第四计算模块603和第四处理模块605。

第三计算模块601计算幅度谱，其中，所述幅度谱是由所述语音时域输出信号的功率谱与第二预设百分比的乘积加上所述语音增强处理中的噪声功率谱生成的。生成模块602生成白噪声频谱。第四计算模块603通过所述幅度谱的算术平方根与所述白噪声频谱的乘积计算得到舒适噪声频谱。所述转换模块405还用于对所述舒适噪声频谱进行傅里叶逆变换以生成舒适噪声时域信号。第四处理模块605判断所述回声参考信号是否为语音信号。若是，则将所述舒适噪声时域信号与所述语音时域输出信号叠加后输出；若否，则直接输出所述语音时域输出信号。

与上述方法、系统实施例原理相似的是，本发明提供一种语音装置，包括如上任一所述的噪声环境下的回声消除系统。优选的，该语音装置由麦克风和相连的扬声器组成。由于上述实施例中的技术特征也可应用于本系统实施例，因而不再重复赘述。

综上所述，本发明通过对语音信号同时进行语音增强和回声消除，有效避免了二者由于先后顺序而造成的相互干扰，有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (7)

1.一种噪声环境下的回声消除方法，其特征在于，包括：

将语音时域输入信号进行分帧处理后复制成两路相同的第一时域输入信号和第二时域输入信号；

分别对所述第一时域输入信号和所述第二时域输入信号做如下处理：

将所述第一时域输入信号转换成第一频域输入信号后进行语音增强处理，据以获得各频点的第一增益值；

将所述第二时域输入信号经自适应回声滤波转换成第二频域输入信号，再对所述第二频域输入信号进行非线性回声处理，据以获得各频点的第二增益值；

将所述第一增益值和第二增益值叠加至所述第一频域输入信号或第二频域输入信号的各频点，据以生成第三频域输入信号；

对所述第三频域输入信号进行傅里叶逆变换以生成语音时域输出信号。

2.根据权利要求1所述的噪声环境下的回声消除方法，其特征在于，还包括：

当检测到回声参考信号时，分别计算：

单讲状态下所述语音时域输入信号的帧时域能量与所述回声参考信号的帧时域能量的第一比值；

滤波后的所述第二频域输入信号的各频域子带能量与所述回声参考信号的对应频域子带能量的第二比值，其中，各所述频域子带是以预设带宽划分整个频域生成的；

当检测到存在所述第二比值小于所述第一比值与第一预设百分比的乘积的频域子带时，将该频域子带内各频点的所述第二增益值设置为零。

3.根据权利要求2所述的噪声环境下的回声消除方法，其特征在于，还包括：

计算幅度谱，其中，所述幅度谱是由所述语音时域输出信号的功率谱与第二预设百分比的乘积加上所述语音增强处理中的噪声功率谱生成的；

生成白噪声频谱；

通过所述幅度谱的算术平方根与所述白噪声频谱的乘积计算得到舒适噪声频谱；

对所述舒适噪声频谱进行傅里叶逆变换以生成舒适噪声时域信号；

判断所述回声参考信号是否为语音信号；

若是，则将所述舒适噪声时域信号与所述语音时域输出信号叠加后输出；

若否，则直接输出所述语音时域输出信号。

4.一种噪声环境下的回声消除系统，其特征在于，包括：

预处理模块，用于将语音时域输入信号进行分帧处理后复制成两路相同的第一时域输入信号和第二时域输入信号；

第一处理模块，用于将所述第一时域输入信号转换成第一频域输入信号后进行语音增强处理，据以获得各频点的第一增益值；

第二处理模块，用于将所述第二时域输入信号经自适应回声滤波转换成第二频域输入信号，再对所述第二频域输入信号进行非线性回声处理，据以获得各频点的第二增益值；

合并模块，用于将所述第一增益值和第二增益值叠加至所述第一频域输入信号或第二频域输入信号的各频点，据以生成第三频域输入信号；

转换模块，用于对所述第三频域输入信号进行傅里叶逆变换以生成语音时域输出信号。

5.根据权利要求4所述的噪声环境下的回声消除系统，其特征在于，还包括：

检测模块，用于检测回声参考信号；

第一计算模块，用于当检测到所述回声参考信号时，计算单讲状态下所述语音时域输入信号的帧时域能量与所述回声参考信号的帧时域能量的第一比值；

第二计算模块，用于当检测到所述回声参考信号时，计算滤波后的所述第二频域输入信号的各频域子带能量与所述回声参考信号的对应频域子带能量的第二比值，其中，各所述频域子带是由所述预处理模块以预设带宽划分整个频域生成的；

第三处理模块，用于当检测到存在所述第二比值小于所述第一比值与第一预设百分比的乘积的频域子带时，将该频域子带内各频点的所述第二增益值设置为零。

6.根据权利要求5所述的噪声环境下的回声消除系统，其特征在于，还包括：

第三计算模块，用于计算幅度谱，其中，所述幅度谱是由所述语音时域输出信号的功率谱与第二预设百分比的乘积加上所述语音增强处理中的噪声功率谱生成的；

生成模块，用于生成白噪声频谱；

第四计算模块，用于通过所述幅度谱的算术平方根与所述白噪声频谱的乘积计算得到舒适噪声频谱；

所述转换模块，还用于对所述舒适噪声频谱进行傅里叶逆变换以生成舒适噪声时域信号；

第四处理模块，用于判断所述回声参考信号是否为语音信号；若是，则将所述舒适噪声时域信号与所述语音时域输出信号叠加后输出；若否，则直接输出所述语音时域输出信号。

7.一种语音装置，其特征在于，包括：如权利要求4至6中任一所述的噪声环境下的回声消除系统。