CN107071197A - 一种基于全相位多延迟分块频域的回音消除方法及系统 - Google Patents

Abstract

本发明涉及一种基于全相位多延迟分块频域的回音消除方法及系统，其中的方法包括步骤：接收远端音频信号，并进行采样处理，得到连续的远端音频采样信号，并分别存储；接收近端音频信号，并进行采样处理，得到连续的近端音频采样信号，并分别存储；分别整合远端音频采样信号和近端音频采样信号，并分别进行全相位处理，得到远端信号和近端信号；对远端信号和近端信号进行傅里叶变换处理，并采用多延迟分块频域算法对变换到频域中的远端信号和近端信号进行自适应回音消除处理，得到音频信号；对音频信号进行编码，并发送至远端接收端。由此解决了多延迟分块频域算法因需要在时域变换到频域时存在的频谱泄露问题，回音估计好，达到更好回音消除效果。

Description

一种基于全相位多延迟分块频域的回音消除方法及系统

技术领域

本发明涉及语音通信中的回音消除技术领域，特别是涉及一种基于全相位多延迟分块频域的回音消除方法及系统。

背景技术

在语音通信场景下，尤其是在麦克风与扬声器共同使用的会议系统、免提电话等通话装置中，远端的语音信号经过本地端的扬声器播放，和本地端使用者发出的语音一起被本地端麦克风采集，并被传送回远端，从而远端使用者受到回声干扰。

自适应回音消除方法旨在通过远端语音信号对近端回音信号进行准确地估计，以便在将近端麦克风处采集到的语音信号传递到远端之前，去除这部分回音，达到更好的通话效果。

人们对自适应回音消除方法的研究由来已久，早在20世纪60年代，Widrow、Hoff等人独创性地提出了最小均方自适应算法，由于该算法在输入过程中统计特性未知或是输入过程的统计特性变化时，能够调整自己的参数，以实现最佳滤波。该算法的实现结构简单、计算量小、稳定性好，因而被广泛应用于回音消除领域。

但自适应回音消除方法在特定应用领域，如远程会议中的回音消除，自适应滤波器需要很长的脉冲响应来处理同样长的回音持续时间，在时域进行自适应运算时，其长记忆要求将导致算法计算复杂度增加。因此，Walzman和Schwartz于1973年提出频域自适应滤波的思想，将接收到的一段时域信号变换到频域再进行后续自适应运算。Soo和Pang在1990年的论文中提出了多延迟分块频域算法，这种方法先在时域分块，分别变换到频域后再对滤波带进行分段处理，相当于对每一个频率分别使用归一化的最小均方算法。

多延迟分块频域算法可以显著减弱因滤波器阶数很大而造成的计算量大的问题，但在实际使用过程中，因为该算法涉及到信号时域到频域的变化，而这一过程需要对信号进行截断并进行周期性延拓，而这一步会引发频谱泄露问题，对后续计算造成影响。故频域自适应回音消除技术中的频谱泄露问题已经成为亟待解决的问题。

发明内容

为解决上述现有技术的缺点和不足，本发明提供了一种基于全相位多延迟分块频域的回音消除方法及系统，解决多延迟分块频域算法因需要在时域变换到频域时存在的频谱泄露问题，以达到更好的回音估计，从而能够更好地消除回音，达到更好的回音消除效果。

为达到本发明的第一目的，本发明提供了一种基于全相位多延迟分块频域的回音消除方法，其包括以下步骤：

S1：接收远端音频信号，并对远端音频信号进行采样处理，得到连续的远端音频采样信号x₁和x₂，并分别存储于两段存储空间；接收近端音频信号，并对近端音频信号进行采样处理，得到连续的近端音频采样信号d₁和d₂，并分别存储于另外两段存储空间；

S2：分别整合远端音频采样信号和近端音频采样信号，并分别进行全相位处理，得到处理后的远端信号x”₁和近端信号d”₁；

S3：对远端信号x”₁和近端信号d”₁进行傅里叶变换，使远端信号x”₁和近端信号d”₁变换到频域，并采用多延迟分块频域算法对变换到频域中的远端信号x”₁和近端信号d”₁进行自适应回音消除处理，得到消除回音后的音频信号；

S4：对音频信号进行编码，并发送编码后的音频信号至远端接收端。

通过上述技术方案，本发明解决了多延迟分块频域算法因需要在时域变换到频域时存在的频谱泄露问题，以达到更好的回音估计，从而能够更好地消除回音，达到更好的回音消除效果；且本发明涉及的算法简单并容易实现。

进一步，所述步骤S1中，设接收到的远端音频信号为x，采用固定的采样频率对远端音频信号x进行采样得到的远端音频采样信号x₁和x₂的长度都为N，x₁＝[x(n-N+1),…x(n-1),x(n)]和x₂＝[x(n+1),x(n+2),…x(n+N)]；设接收到的近端音频信号为d，采用固定的采样频率对近端音频信号d采样得到的近端音频采样信号d₁和d₂的长度都为N，d₁＝[d(n-N+1),…d(n-1),d(n)]和d₂＝[d(n+1),d(n+2),…d(n+N)]。通过此处进一步限定，有利于保证了得到的采样信号的完整性和准确性。

进一步，所述步骤S2，具体包括以下步骤：

S21：整合远端音频采样信号x₁和x₂：舍弃x₂的最后一项，并合并x₁和x₂，形成长度为2N-1的新语音信号x'₁；

S22：选定两长度为N的卷积窗ω₁和ω₂；

S23：将卷积窗ω₁和ω₂进行卷积处理，形成长度为2N-1的卷积窗ω；

S24：计算归一化因子C，

S25：将新语音信号x'₁与卷积窗ω相乘，得到相应的数据序列；

S26：将所述数据序列中每相隔N-1项的数据移位加权相加，构成全相位处理后且长度为N的语音数据x'₁；

S27：对语音数据x'₁进行归一化处理，得到远端信号x”₁；远端信号x”₁与语音数据x'₁和归一化因子的关系满足：

S28：根据步骤S21～S27中的处理方法对近端音频采样信号d₁和d₂进行处理，得到全相位处理后并归一化处理后的近端信号d”₁。

通过此处对步骤S2的限定，进一步保证了最终得到的远端信号和近端信号的准确性和精确度。

进一步，所述步骤S2还包括以下步骤：S29：对远端音频采样信号x₁和x₂的存储空间内的原始音频进行移位处理，并对近端音频采样信号d₁和d₂的存储空间内的原始音频进行移位处理。通过此处限定，有利于可以快速进行下一段音频信号处理，提高音频信号处理的工作效率和顺利度。

进一步，所述步骤S4中，对音频信号进行的编码处理为PCM编码处理。

进一步，本发明基于全相位多延迟分块频域的回音消除方法还包括步骤S5：判断当前通话是否结束，若是，则停止工作；若否，则返回步骤S1，继续工作。

为达到本发明的第二目的，本发明还提供了一种与上述基于全相位多延迟分块频域的回音消除方法相应的基于全相位多延迟分块频域的回音消除系统，该系统包括发送端；所述发送端包括：

音频采集采样模块，用于接收远端音频信号，并对远端音频信号进行采样处理，得到连续的两段远端音频采样信号，并分别存储于两段存储空间；接收近端音频信号，并对近端音频信号进行采样处理，得到连续的两段近端音频采样信号，并分别存储于另外两段存储空间；

算法模块，用于分别整合两段远端音频采样信号和两段近端音频采样信号，并分别进行全相位处理，得到处理后的远端信号和近端信号，也用于对远端信号和近端信号进行傅里叶变换，使远端信号和近端信号变换到频域，并采用多延迟分块频域算法对变换到频域中的远端信号和近端信号进行自适应回音消除处理，得到消除回音后的音频信号；

及，编码发射模块，用于对所述音频信号进行编码，并发送编码后的音频信号至远端接收端。

由于本发明的基于全相位多延迟分块频域的回音消除系统和本发明的基于全相位多延迟分块频域的回音消除方法是相互对应的，则本发明的系统也具有本发明的方法所有的技术效果，故在此不再赘述。

进一步，所述音频采集采样模块包括：

远端音频采集采样子模块，用于接收远端音频信号，并对远端音频信号进行采样处理，得到连续的两段远端音频采样信号，并分别存储于两段存储空间；

及，近端音频采集采样子模块，用于接收近端音频信号，并对近端音频信号进行采样处理，得到连续的两段近端音频采样信号，并分别存储于另外两段存储空间。

通过对音频采集采样模块的进一步限定，有利于提高其工作的条理性和平衡性，避免工作之间发生冲突或占用，也避免了因工作内容过多且过于集中而发生混淆。

进一步，所述算法模块包括：

整合子模块，用于分别整合两段远端音频采样信号和两段近端音频采样信号；

全相位处理子模块，用于对整合后远端音频采样信号和近端音频采样信号分别进行全相位处理，得到远端信号和近端信号；

傅里叶变换子模块，用于对远端信号和近端信号分别进行傅里叶处理，使远端信号和近端信号变换到频域；

及，回音消除子模块，用于采用多延迟分块频域算法对变换到频域中的远端信号和近端信号进行自适应回音消除处理，得到消除回音后的音频信号。

通过对算法模块的进一步限定，有利于提高其工作的条理性和平衡性，避免工作之间发生冲突或占用，也避免了因工作内容过多且过于集中而发生混淆。

进一步，本发明基于全相位多延迟分块频域的回音消除系统还包括远端接收端；所述远端接收端包括：解码接收模块，用于接收由编码发射模块发射的音频信号，并对接收到的音频信号进行解码；及，语音播放模块，用于接收并播放由解码接收模块传送的解码后的音频信号。通过此处限定，有利于进一步完整整个系统。

为了更好地理解和实施，下面结合附图详细说明本发明。

附图说明

图1为本发明基于全相位多延迟分块频域的回音消除方法的方法流程图；

图2为本发明基于全相位多延迟分块频域的回音消除方法中步骤S21的信号截断过程示意图；

图3为本发明基于全相位多延迟分块频域的回音消除方法的移位加权相加的过程示意图；

图4为本发明基于全相位多延迟分块频域的回音消除系统的结构框图；

图5为图4中的基于全相位多延迟分块频域的回音消除系统进一步改进后的结构框图；

图6为图5中的基于全相位多延迟分块频域的回音消除系统进一步改进后的结构框图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清晰，以下结合附图及实施例对本发明基于全相位多延迟分块频域回音消除方法及系统进一步详细说明。值得提醒的是，以下描述的具体实例为解释本发明内容的实例，但不限定本发明的保护范围，也不限定于本发明下述实施例的实施方案。

请参阅图1，本发明提供了一种基于全相位多延迟分块频域的回音消除方法，其包括以下步骤：

S1：接收远端音频信号，并对远端音频信号进行采样处理，得到连续的远端音频采样信号x₁和x₂，并分别存储于两段存储空间；接收近端音频信号，并对近端音频信号进行采样处理，得到连续的近端音频采样信号d₁和d₂，并分别存储于另外两段存储空间；在本实施例中，上述四段存储空间都是内部RAM的空间。

S2：分别整合远端音频采样信号和近端音频采样信号，并分别进行全相位处理，得到处理后的远端信号x”₁和近端信号d”₁；在本实施例中，在全相位处理及多延迟分块频域回音消除的步骤中，先对输入音频信号进行全相位处理，再对处理后的音频信号进行回音消除。在实施全相位数据处理时，需要对数据加前窗ω₁和后窗ω₂，根据两个窗的类型不同可以具体分为无窗、单窗、双窗全相位预处理。假如ω₁和ω₂都为矩形窗，且满足ω₁＝ω₂，则可以称作无窗全相位数据预处理；假如ω₁和ω₂中有一个为矩形窗，另一个为中心对称窗，则可以称作单窗全相位数据预处理；假如ω₁和ω₂都为中心对称窗，则可以称作双窗全相位数据预处理。

S3：对远端信号x”₁和近端信号d”₁进行傅里叶变换，使远端信号x”₁和近端信号d”₁变换到频域，并采用多延迟分块频域算法对变换到频域中的远端信号x”₁和近端信号d”₁进行自适应回音消除处理，得到消除回音后的音频信号；

S4：对音频信号进行编码，并发送编码后的音频信号至远端接收端。由此借助上述步骤合理的变换有效防止频谱泄露问题，进而达到很好的回音消除效果。回音消除部分实现利用已有的多延迟分块频域算法，实现参照speex开源项目。

通过上述技术方案，本发明解决了多延迟分块频域算法因需要在时域变换到频域时存在的频谱泄露问题，以达到更好的回音估计，从而能够更好地消除回音，达到更好的回音消除效果，并保证了实现技术的简单性和稳定性。

为保证了得到的采样信号的完整性和准确性，优选地，在本实施例中，所述步骤S1中，设接收到的远端音频信号为x，采用固定的采样频率对远端音频信号x进行采样得到的远端音频采样信号x₁和x₂的长度都为N，x₁＝[x(n-N+1),…x(n-1),x(n)]和x₂＝[x(n+1),x(n+2),…x(n+N)]；设接收到的近端音频信号为d，采用固定的采样频率对近端音频信号d采样得到的近端音频采样信号d₁和d₂的长度都为N，d₁＝[d(n-N+1),…d(n-1),d(n)]和d₂＝[d(n+1),d(n+2),…d(n+N)]。

为保证最终得到的远端信号和近端信号的准确性和精确度，并保证技术实现的稳定性和简单性，优选地，所述步骤S2，具体包括以下步骤：

S21：整合远端音频采样信号x₁和x₂：舍弃x₂的最后一项，并合并x₁和x₂，形成长度为2N-1的新语音信号x'₁；即x'₁＝[x(n-N+1),…x(n-1),x(n),x(n+1),…x(n+N-1)]；其中的截断过程如图2所示；

S22：选定两长度为N的卷积窗ω₁和ω₂；

S23：将卷积窗ω₁和ω₂进行卷积处理，形成长度为2N-1的卷积窗ω；其中，卷积窗ω＝[ω(-N+1),ω(-N+2),…ω(0),…ω(N-2),ω(N-1)]，且该卷积窗ω满足：

S24：计算归一化因子C，通过该归一化因子，归一化处理，能够使输入全相位处理后的信号幅值不出现偏离；

S25：将新语音信号x'₁与卷积窗ω相乘，得到相应的数据序列；该数据序列为：

S26：将所述数据序列中每相隔N-1项的数据移位加权相加，构成全相位处理后且长度为N的语音数据x'₁；其中，该步骤S26的处理过程如图3所示，且经过步骤S26处理后得到的语音数据x'₁的各项数据满足以下关系：

S27：对语音数据x'₁进行归一化处理，得到远端信号x”₁；远端信号x”₁与语音数据x'₁和归一化因子的关系满足：其中，远端信号x”₁的各项数据满足以下关系：

S28：根据步骤S21～S27中的处理方法对近端音频采样信号d₁和d₂进行处理，得到全相位处理后并归一化处理后的近端信号d”₁。

为可以快速进行下一段音频信号处理，提高音频信号处理的工作效率和顺利度，优选地，所述步骤S2还包括以下步骤：S29：对远端音频采样信号x₁和x₂的存储空间内的原始音频进行移位处理，并对近端音频采样信号d₁和d₂的存储空间内的原始音频进行移位处理。由此采用一次存储相邻两段音频信号的存储方法为这一运算步骤提供了很大的方便，在一次运算之后对音频信号进行移位，以保证下一次运算顺利进行。

上述步骤S2中的步骤所涉及的窗大小N应为后续算法中滤波器的分块大小。

进一步，所述步骤S4中，对音频信号进行的编码处理为PCM编码处理，且在数据传输前，会根据实际传输需要而进行硬件参数的设置、分块大小的选择。

进一步，本发明基于全相位多延迟分块频域的回音消除方法还包括步骤S5：判断当前通话是否结束，若是，则停止工作；若否，则返回步骤S1，继续工作。

为达到本发明的第二目的，请参阅图4，本发明还提供了一种与上述基于全相位多延迟分块频域的回音消除方法相应的基于全相位多延迟分块频域的回音消除系统，该系统包括发送端；所述发送端包括：

音频采集采样模块，用于接收远端音频信号，并对远端音频信号进行采样处理，得到连续的两段远端音频采样信号，并分别存储于两段存储空间；接收近端音频信号，并对近端音频信号进行采样处理，得到连续的两段近端音频采样信号，并分别存储于另外两段存储空间；

算法模块，用于分别整合两段远端音频采样信号和两段近端音频采样信号，并分别进行全相位处理，得到处理后的远端信号和近端信号，也用于对远端信号和近端信号进行傅里叶变换，使远端信号和近端信号变换到频域，并采用多延迟分块频域算法对变换到频域中的远端信号和近端信号进行自适应回音消除处理，得到消除回音后的音频信号；

及，编码发射模块，用于对所述音频信号进行编码，并发送编码后的音频信号至远端接收端。

为提高工作的条理性和平衡性，避免工作之间发生冲突或占用，也避免了因工作内容过多且过于集中而发生混淆，以下对音频采集采样模块和算法模块进行了进一步改进：

请参阅图5，进一步，所述音频采集采样模块包括：

远端音频采集采样子模块，用于接收远端音频信号，并对远端音频信号进行采样处理，得到连续的两段远端音频采样信号，并分别存储于两段存储空间；

及，近端音频采集采样子模块，用于接收近端音频信号，并对近端音频信号进行采样处理，得到连续的两段近端音频采样信号，并分别存储于另外两段存储空间。

请继续参阅图5，进一步，所述算法模块包括：

整合子模块，用于分别整合两段远端音频采样信号和两段近端音频采样信号；

全相位处理子模块，用于对整合后远端音频采样信号和近端音频采样信号分别进行全相位处理，得到远端信号和近端信号；

傅里叶变换子模块，用于对远端信号和近端信号分别进行傅里叶处理，使远端信号和近端信号变换到频域；

及，回音消除子模块，用于采用多延迟分块频域算法对变换到频域中的远端信号和近端信号进行自适应回音消除处理，得到消除回音后的音频信号。

进一步，请参阅图6，本发明基于全相位多延迟分块频域的回音消除系统还包括远端接收端；所述远端接收端包括：解码接收模块，用于接收由编码发射模块发射的音频信号，并对接收到的音频信号进行解码；及，语音播放模块，用于接收并播放由解码接收模块传送的解码后的音频信号。

相对于现有技术，本发明基于全相位多延迟分块频域的回音消除方法及系统解决了多延迟分块频域算法因需要在时域变换到频域时存在的频谱泄露问题，以达到更好的回音估计，从而能够更好地消除回音，达到更好的回音消除效果；并保证了实现技术的稳定性和简单性。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (10)

1.一种基于全相位多延迟分块频域的回音消除方法，其特征在于：包括以下步骤：

S1：接收远端音频信号，并对远端音频信号进行采样处理，得到连续的远端音频采样信号x₁和x₂，并分别存储于两段存储空间；接收近端音频信号，并对近端音频信号进行采样处理，得到连续的近端音频采样信号d₁和d₂，并分别存储于另外两段存储空间；

S2：分别整合远端音频采样信号和近端音频采样信号，并分别进行全相位处理，得到处理后的远端信号x”₁和近端信号d”₁；

S3：对远端信号x”₁和近端信号d”₁进行傅里叶变换，使远端信号x”₁和近端信号d”₁变换到频域，并采用多延迟分块频域算法对变换到频域中的远端信号x”₁和近端信号d”₁进行自适应回音消除处理，得到消除回音后的音频信号；

S4：对音频信号进行编码，并发送编码后的音频信号至远端接收端。

2.根据权利要求1所述的基于全相位多延迟分块频域的回音消除方法，其特征在于：所述步骤S1中，设接收到的远端音频信号为x，采用固定的采样频率对远端音频信号x进行采样得到的远端音频采样信号x₁和x₂的长度都为N，x₁＝[x(n-N+1),…x(n-1),x(n)]和x₂＝[x(n+1),x(n+2),…x(n+N)]；设接收到的近端音频信号为d，采用固定的采样频率对近端音频信号d采样得到的近端音频采样信号d₁和d₂的长度都为N，d₁＝[d(n-N+1),…d(n-1),d(n)]和d₂＝[d(n+1),d(n+2),…d(n+N)]。

3.根据权利要求1或2所述的基于全相位多延迟分块频域的回音消除方法，其特征在于：所述步骤S2，具体包括以下步骤：

S21：整合远端音频采样信号x₁和x₂：舍弃x₂的最后一项，并合并x₁和x₂，形成长度为2N-1的新语音信号x'₁；

S22：选定两长度为N的卷积窗ω₁和ω₂；

S23：将卷积窗ω₁和ω₂进行卷积处理，形成长度为2N-1的卷积窗ω；

S24：计算归一化因子C，

S25：将新语音信号x'₁与卷积窗ω相乘，得到相应的数据序列；

S26：将所述数据序列中每相隔N-1项的数据移位加权相加，构成全相位处理后且长度为N的语音数据x'₁；

S27：对语音数据x'₁进行归一化处理，得到远端信号x”₁；远端信号x”₁与语音数据x'₁和归一化因子的关系满足：

S28：根据步骤S21～S27中的处理方法对近端音频采样信号d₁和d₂进行处理，得到全相位处理后并归一化处理后的近端信号d”₁。

4.根据权利要求3所述的基于全相位多延迟分块频域的回音消除方法，其特征在于：所述步骤S2还包括以下步骤：

S29：对远端音频采样信号x₁和x₂的存储空间内的原始音频进行移位处理，并对近端音频采样信号d₁和d₂的存储空间内的原始音频进行移位处理。

5.根据权利要求3所述的基于全相位多延迟分块频域的回音消除方法，其特征在于：所述步骤S4中，对音频信号进行的编码处理为PCM编码处理。

6.根据权利要求1～2和4～5任一项所述的基于全相位多延迟分块频域的回音消除方法，其特征在于：还包括步骤S5：判断当前通话是否结束，若是，则停止工作；若否，则返回步骤S1，继续工作。

7.一种基于全相位多延迟分块频域的回音消除系统，其特征在于：包括发送端；所述发送端包括：

音频采集采样模块，用于接收远端音频信号，并对远端音频信号进行采样处理，得到连续的两段远端音频采样信号，并分别存储于两段存储空间；接收近端音频信号，并对近端音频信号进行采样处理，得到连续的两段近端音频采样信号，并分别存储于另外两段存储空间；

算法模块，用于分别整合两段远端音频采样信号和两段近端音频采样信号，并分别进行全相位处理，得到处理后的远端信号和近端信号，也用于对远端信号和近端信号进行傅里叶变换，使远端信号和近端信号变换到频域，并采用多延迟分块频域算法对变换到频域中的远端信号和近端信号进行自适应回音消除处理，得到消除回音后的音频信号；

及，编码发射模块，用于对所述音频信号进行编码，并发送编码后的音频信号至远端接收端。

8.根据权利要求7所述的基于全相位多延迟分块频域的回音消除系统，其特征在于：所述音频采集采样模块包括：

远端音频采集采样子模块，用于接收远端音频信号，并对远端音频信号进行采样处理，得到连续的两段远端音频采样信号，并分别存储于两段存储空间；

及，近端音频采集采样子模块，用于接收近端音频信号，并对近端音频信号进行采样处理，得到连续的两段近端音频采样信号，并分别存储于另外两段存储空间。

9.根据权利要求7所述的基于全相位多延迟分块频域的回音消除系统，其特征在于：所述算法模块包括：

整合子模块，用于分别整合两段远端音频采样信号和两段近端音频采样信号；

全相位处理子模块，用于对整合后远端音频采样信号和近端音频采样信号分别进行全相位处理，得到远端信号和近端信号；

傅里叶变换子模块，用于对远端信号和近端信号分别进行傅里叶处理，使远端信号和近端信号变换到频域；

及，回音消除子模块，用于采用多延迟分块频域算法对变换到频域中的远端信号和近端信号进行自适应回音消除处理，得到消除回音后的音频信号。

10.根据权利要求7～9任一项所述的基于全相位多延迟分块频域的回音消除系统，其特征在于：还包括远端接收端；所述远端接收端包括：

解码接收模块，用于接收由编码发射模块发射的音频信号，并对接收到的音频信号进行解码；

及，语音播放模块，用于接收并播放由解码接收模块传送的解码后的音频信号。