CN107635082A - 一种双端发声端检测系统 - Google Patents

Abstract

本发明涉及一种双端发声端检测系统，包括时延估计和对齐模块、VAD判决模块、DTD判决模块以及多个时频变换模块，多个时频变换模块均连接DTD判决模块；时延估计和对齐模块分别连接VAD判决模块和一个时频变换模块，VAD判决模块连接DTD判决模块；输入的远端信号首先进入时延估计和对齐模块进行处理，然后对对齐后的远端信进行VAD判决和时频变换，最后将VAD判决和时频变换结果输送至DTD判决模块进行DTD判决，所述双端发声端检测系统的结构简单、可移植性强、适用范围广、成本低，其具有能够适应回声路径不断变化的特性，以及较低的运算复杂度，在各种复杂的声学回声环境下，仍然能够可靠的估计双端讲话。

Description

一种双端发声端检测系统

技术领域

本发明涉及一种双端发声端检测系统，属于自动化设备领域。

背景技术

在电话会议系统、车载电话和智能手机中，扬声器播放的声音经过多种路径传播后被麦克风拾取又发回远端，这使得远端说话者能听到自己的声音，也即“声学回声”，回声使远端用户感觉不舒服。为了消除上述声学回声，提高通话质量，上述设备都必须集成AEC。AEC的基本原理为：远端信号x(n)通过声学回声信道(也即回声路径)w(n)产生回声信号y(n)，然后混合近端声音v(n)得到近端麦克风采集语音d(n)。通过使用自适应滤波器来模拟信道w(n)，进而得到回声估计值最后将回声估计值从麦克风采集语音d(n)中去除，实现对回声的去除。

在不存在近端语音的环境下，现有的自适应滤波器，如LMS、NLMS、RLS等，均能或快或慢的达到稳态收敛，消除绝大部分回声。但在近端语音和远端语音同时存在时，即所谓的双端讲话模式，上述自适应滤波器性能急剧恶化，甚至发散。因此，一般的AEC都会包括自适应滤波和DTD两个部分，DTD即是对当前语音通话状态进行判定(近端讲话、远端讲话和双端讲话)。DTD判定的准确性将直接决定AEC算法的优劣。当判定为近端讲话状态时，自适应滤波器既不进行滤波也不进行系数更新；判定为双端讲话时，自适应滤波器不进行系数更新，但要进行自适应滤波；只有在远端语音状态下，自适应滤波器既要进行滤波也有要进行系数的更新。

目前，自适应滤波算法越来越成熟，在时间复杂度和稳态收敛速度之间已取得较好平衡，这使得DTD检测问题成为制约AEC发展的瓶颈。当前，DTD检测方法比较多，我们可以将这些方法分为3类：基于能量的方法、基于语音信号相关度的方法以及双滤波器法。

一、基于能量的检测算法：该类算法主要通过计算短时能量的方法来确定是否存在近端语音信号，这其中涉及到两种具体的实现方法：

1.基于能量对比的方法：该类方法中最经典也是最重要的算法为传统的Geigel算法。Geigel算法原理是将麦克风信号和扬声器的声音信号能量进行比较。但是由于回声延迟的存在以及信号能量的增加需要一定时间的缘故，因此算法把麦克风信号同过去一段时间内扬声器的声音中的最大值进行对比，而非与当前时刻的扬声器信号对比，以此保证检测的准确性。该方法最大的优点就是计算量小，判决方式简单。但是，Geigel算法的局限性是比较门限的设定比较粗糙，难以普适于回声路径变化的场合。

2.基于能量平均的方法：该方法主要是通过比较回声抵消后的残差能量和抵消前的近端信号能量来进行双端检测，最典型的方法为基于ERLE判决的方法。ERLE定义为：

当满足式(2)时，认为检测到双端发声：

ERLE(k)≤ERLE_opt (2)

式(2)中ERLE_opt为预先设定的阈值。当v(k)不存在时(即不存在双端讲话)，自适应滤波器的输入信号只包含回声信号，此时，自适应滤波器应该具有较好的稳态收敛性，所以ERLE会大于ERLE_opt。当v(k)存在时，自适应滤波器存在“噪声”干扰，此时e(k)会增大，因而ERLE会小于ERLE_opt。因此，可以通过将ERLE与ERLE_opt进行比较，来判定是否存存在双端发声。该方法简单、运算复杂度小，但是当回声路径变化，其判决性能急剧下降，而且该方法对阈值设定非常敏感。

二、基于语音信号相关性的检测：相关检测法是目前应用最为广泛的DTD检测方法。所谓相关检测就是用回声消除中可以得到的两种信号，例如远端信号、近端信号、回声信号、残差信号等，相关性来构造双端发声检测统计量ξ，然后用这个统计量和一个固定门限T做比较来判定是否存在双端发声。

三、双滤波器法：基于能量和相关性检测方法有一个共同的特点是不能适应回声路径不断变化的特性，所以很难有一个确定的阈值来准确的检测通话的状态。针对其缺点，一种双滤波器法被提出。它引入了辅助滤波器和系数缓存的概念。这种结构中含有两个滤波器，自适应滤波器和辅助滤波器，回声路径的跟踪由自适应滤波器完成，而回声抵消则由自适应滤波器和辅助滤波器共同完成。自适应滤波器系数更新一直进行，当双端发声使得自适应滤波器系数发散时，通过回声抵消控制器的控制，使用辅助滤波器的滤波结果，保证回声消除的效果；当回声路径发生变化时，由于自适应滤波器系数的更新过程一直在进行，保证了自适应滤波器能够快速跟踪回声路径的变化，同时根据自适应滤波器在回声路径变化后的收敛程度决定选择自适应滤波器的输出结果，或者是辅助滤波器的输出结果。

双滤波器法引入了备选策略，辅助滤波器定期保存着对当前回声路径的最佳估计。所以，当双端发声或者时回声路径变化造成自适应滤波器发散时，系统马上用辅助滤波器进行恢复，使得整个回声消除装置不至于发散直至崩溃，保证回声消除的效果。但是，该方法采用了双滤波器，这使得其计算量非常高。

现有的基于能量或谱相似度的DTD检测方法，对声学回声路径变化敏感，一旦回声路径发生变化，则回声信号谱就将发生较大的变化，不能再用一个确定的阈值来检测通话的状态，因此基于能量或谱相似度方法的性能就急剧下降。

基于双滤波器的DTD检测方法对虽然可以适应回声路径不断变化的特性，但是该方法具有结构复杂、运算复杂度高的缺点。

因此有必要设计一种双端发声端检测系统，以克服上述问题。

发明内容

本发明的目的在于克服现有技术之缺陷，提供了一种结构简单、可移植性强、适用范围广、成本低的双端发声端检测系统，其具有能够适应回声路径不断变化的特性，以及较低的运算复杂度，在各种复杂的声学回声环境下，仍然能够可靠的估计双端讲话。

本发明是这样实现的：

本发明提供一种双端发声端检测系统，包括时延估计和对齐模块、VAD判决模块、DTD判决模块以及多个时频变换模块，多个所述时频变换模块均连接所述DTD判决模块；所述时延估计和对齐模块分别连接所述VAD判决模块和一个所述时频变换模块，所述VAD判决模块连接所述DTD判决模块；一帧远端信号输入至所述时延估计和对齐模块，一帧近端信号分别输入至所述时延估计和对齐模块和一个所述时频变换模块，一帧自适应滤波器输出的残差信号输入至一个所述时频变换模块；输入的远端信号首先进入时延估计和对齐模块进行处理，然后对对齐后的远端信进行VAD判决和时频变换，最后将VAD判决和时频变换结果输送至DTD判决模块进行DTD判决。

进一步地，所述时延估计和对齐模块为基于互相关的时延估计或基于VAD事件的时延估计模块。

进一步地，所述VAD判决模块使用的判决方法为基于短时过零率和短时能量的门限法、基于频带方差的检测法、基于谱熵的检测法、基于GMM的分类检测、基于小波变换或EMD分解的检测法。

本发明具有以下有益效果：

输入的远端信号x(n)首先进入时延估计和对齐模块进行处理，然后对对齐后的远端信进行VAD判决和时频变换，最后将VAD判决和时频变换结果输送至DTD判决模块进行DTD判决。本发明提供的双端发声端检测系统通过计算近端语音存在概率，并结合远端信号VAD判决结果实现了声学回声消除的双端讲话检测。其具有能够适应回声路径不断变化的特性，以及较低的运算复杂度，在各种复杂的声学回声环境下，仍然能够可靠的的估计双端讲话；本发明采用纯软件方式实现，具有简单、可移植性强、适用范围广、成本低的优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例提供的一种双端发声端检测系统的框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都属于本发明保护的范围。

如图1，本发明实施例提供一种双端发声端检测系统，包括时延估计和对齐模块、VAD判决模块、DTD判决模块以及多个时频变换模块，多个所述时频变换模块均连接所述DTD判决模块。

所述时延估计和对齐模块分别连接所述VAD判决模块和一个所述时频变换模块，所述VAD判决模块连接所述DTD判决模块；一帧远端信号x(n)(也称为扬声器信号)输入至所述时延估计和对齐模块，一帧近端信号d(n)(也称为麦克风信号)分别输入至所述时延估计和对齐模块和一个所述时频变换模块，一帧自适应滤波器输出的残差信号e(n)输入至一个所述时频变换模块。

输入的远端信号x(n)首先进入时延估计和对齐模块进行处理，然后对对齐后的远端信进行VAD判决和时频变换，最后将VAD判决和时频变换结果输送至DTD判决模块进行DTD判决。

本发明提供的双端发声端检测系统通过计算近端语音存在概率，并结合远端信号VAD判决结果实现了声学回声消除的双端讲话检测。

以下对各个模块进行详细描述：

1.时延估计与对齐模块：远端信号x(n)经过扬声器播放，然后再被麦克风采集得到近端信号d(n)，最后将x(n)和d(n)送到DTD模块进行处理，整个处理过程是有一定时延的。同时，在算法的具体实现中，x(n)和d(n)的获取通常位于2个独立的线程，即播放线程和接收线程，如果两个线程不同步，这将会带来额外的时延。在DTD判决时，必须要考虑到上述时延。时延估计与对齐模块的作用是估计并补偿上述时延，使输入的远端信号和近端信号对齐。时延估计模块是数字语音处理系统比较常见模块，比较常见的方法有基于互相关的时延估计、基于VAD事件的时延估计等，本系统的时延估计与对齐模块采用的方法，只要该方法能够正确估计并补偿时延即可。

2.VAD判决模块：活动语音检测(Voice Activity Detection，VAD)，又称端点检测，是对语音信号中的有声片段和无声片段进行分类。因为在本系统中，DTD判决需要综合远端信号的有声/无声信息来做决断，同时相关参数的统计信息也需要在有声段来更新。VAD模块是数字语音处理系统比较常见模块，比较常见的方法有基于短时过零率和短时能量的门限法、基于频带方差的检测法、基于谱熵的检测法、基于GMM的分类检测、基于小波变换或EMD分解的检测法等。本系统的VAD模块采用的方法，只要该方法能够区分输入远端信号中的有声片段和无声片段即可。

3.时频变换模块：语音信号本质上是非平稳信号，其非平稳特性由发声器官的物理运动产生。发声器官的运动由于存在惯性，所以可以假设语音信号在10-30ms这样短的时间段内是平稳的。短时FFT变换就是在基于短时平稳的假设下，用稳态分析方法处理非平稳信号的一种方法，因此本发明采用短时FFT变换将信号从时域转换到频域。在对信号做短时FFT变换前，需要先对信号做加窗处理，以防止输入信号频谱泄露。在本发明中，窗函数选择汉明窗，因为汉明窗的旁瓣衰减较大，具有更平滑的低通特性，能够较好的反映短时信号的频率特性。

4.DTD判决模块：DTD判决分为VAD判决、计算近端语音存在概率p(H₁|Y(i))和DTD判决3步：

步骤1：VAD判决

对远端信号做VAD判决，得到远端信号VAD判决结果vad_far，其中结果为1代表有语音，结果为0代表无语音。

步骤2：计算近端语音存在概率p(H₁|Y(i))

令D(i)＝[D(i，1)，D(i，2)，…，D(i，M)]代表回声信号频谱，S(i)＝[S(i，1)，S(i，2)，…，S(i，M)]代表近端语音信号频谱，Y(i)＝[Y(i，1)，Y(i，2)，…，Y(i，M)]代表麦克风采集信号频谱，X(i)＝[X(i，1)，X(i，2)，…，X(i，M)]代表远端语音信号频谱，E(i)＝[E(i，1)，E(i，2)，…，E(i，M)]代表自适应滤波器输出的残差信号频谱，i表示帧序号，M表示一帧信号谱长度。假定H₀和H₁分别代表近端语音不存在和近端语音存在状态，则有：

H₀：Y(i)＝D(i)

H₁：Y(i)＝D(i)+S(i) (3)

D(i)和S(i)不相关，且相互独立，它们的信号频谱近似服从零均值复高斯分布，则根据式(3)有观测信号Y(i)的条件PDF为：

式(4)和式(5)中exp{.}代表以e为底数的指数函数， E[.]代表随机变量的数学期望，即λ_s(i，k)和λ_d(i，k)分别代表近端语音信号和回声的方差。

根据式(3)并结合贝叶斯条件概率公式，可以得到近端语音存在概率p(H₁|Y(i))

式(6)中p(H₀)＝1-p(H₁)代表近端先验语音不存在概率。

一帧信号频谱中每个谱分量可近似认为是独立同分布，因而由式(6)可以得到：

式(7)中结合式(4)和式(5)可以计算得到式(7)中每个谱分量的似然率Λ_k(Y(i，k))：

式(8)中ξ(i，k)和γ(i，k)分别代表先验SNR和后验SNR，其定义为：

式(10)中λ_s(i，k)不能直接测量得到，因此ξ(i，k)的计算拟通过直接判决法得到，即：

式(11)中α_DD是平滑因子，max{x，y}代变量x、y中较大值。

式(9)和式(11)中回声方差的估计值拟利用回声频谱的估计值平滑得到，即：

式(12)中|.|代表取复数取模操作，初估回声频谱为：

|D(i，k)|＝H(i，k)|X(i，k)| (13)

式(14)中，C(i，k)、R(i，k)通过一阶AR滤波得到：

C(i，k)＝ζ_CC(i-1，k)+(1-ζ_C)|X^*(i，k)Y(i，k)| (15)

R(i，k)＝ζ_RR(i-1，k)+(1-ζ_R)|X^*(i，k)X(i，k)| (16)

式(15)和式(16)中*代表取复数共轭操作，ζ_C、ζ_R代表平滑因子。式(12)至式(16)的更新只有在满足vad_far＝1的条件下才更新，在vad_far＝0时不进行更新操作。

步骤3：DTD判决

(1).如果p(H₁|Y(i))＜p_T，其中p_T为概率阈值，则说明当前帧检没有检测到双端讲话，此时DTD判决器输出判决结果0。

(2).如果p(H₁|Y(i))≥p_T，并且vad_far＝1，则说明当前帧检测到了双端讲话的情况，此时DTD判决器输出判决结果1。同时，一旦被判定为双端对讲状态，判决器在时间t_hold(释放时间)内保持双端对讲状态，即DTD判决器输出判决结果1。如果经过时间T_hold后，有p(H₁|Y(i))＜p_T，则DTD判决器输出判决结果0，直到再次满足p(H₁|Y(i))≥p_T，并且vad_far＝1。T_hold是必需的，它主要是为了防止外部随机噪声对p(H₁|Y(i))和vad_far的计算造成影响而导致DTD判决器错误的退出双端讲话的状态。

本发明提供的双端发声端检测系统通过计算近端语音存在概率，并结合远端信号VAD判决结果实现了声学回声消除的双端讲话检测。其具有能够适应回声路径不断变化的特性，以及较低的运算复杂度，在各种复杂的声学回声环境下，仍然能够可靠的的估计双端讲话；本发明采用纯软件方式实现，具有简单、可移植性强、适用范围广、成本低的优点。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种双端发声端检测系统，其特征在于，包括时延估计和对齐模块、VAD判决模块、DTD判决模块以及多个时频变换模块，多个所述时频变换模块均连接所述DTD判决模块；

所述时延估计和对齐模块分别连接所述VAD判决模块和一个所述时频变换模块，所述VAD判决模块连接所述DTD判决模块；

一帧远端信号输入至所述时延估计和对齐模块，一帧近端信号分别输入至所述时延估计和对齐模块和一个所述时频变换模块，一帧自适应滤波器输出的残差信号输入至一个所述时频变换模块；

输入的远端信号首先进入时延估计和对齐模块进行处理，然后对对齐后的远端信进行VAD判决和时频变换，最后将VAD判决和时频变换结果输送至DTD判决模块进行DTD判决。

2.如权利要求1所述的双端发声端检测系统，其特征在于：所述时延估计和对齐模块为基于互相关的时延估计或基于VAD事件的时延估计模块。

3.如权利要求1或2所述的双端发声端检测系统，其特征在于：所述VAD判决模块使用的判决方法为基于短时过零率和短时能量的门限法、基于频带方差的检测法、基于谱熵的检测法、基于GMM的分类检测、基于小波变换或EMD分解的检测法。