CN106603877A - 协同会议语音采集方法及装置 - Google Patents

Abstract

本发明公开了一种协同会议语音采集方法，包括：采集当前会议现场的混合语音信号；所述当前会议现场的混合语音信号包括：作为有效语音信号的当前会议现场的参会人员发出的声音，以及，作为回声信号的远端的参会对方或多方的参会人员发出的声音经传输到当前会议现场而由扬声器发出的声音；结合远端的对方或多方的参会人员发出的声音经传输到当前会议现场的远端信号，通过自适应滤波器消除所述回声信号并得到有效语音信号；将有效语音信号通过网络发送给参会对方或多方。本发明还公开了一种协同会议语音采集装置。本发明提出的协同会议语音采集方法及装置，能够消除扬声器产生的回音。

Description

协同会议语音采集方法及装置

技术领域

本发明涉及音频数据采集技术领域，特别是指一种协同会议语音采集方法及装置。

背景技术

随着经济全球化发展越来越快，促进了各大国内、国际企业之间的合作，企业内部或企业之间常常通过协同会议来进行合作交流。

协同会议需要采集会议双方或多方的会议现场中的参会人员的发言并发送到会议对方或多方进行播放，才能完成语音的交流。现有的协同会议设备，在会议现场采集音频时，因为扬声器播放的远端的对方或多方的语音会被麦克风或拾音器采集，导致返回到会议对方或多方的语音中产生回声信号，导致语音信号不清楚或有杂音。

发明内容

有鉴于此，本发明的目的在于提出一种协同会议语音采集方法及装置，能够消除扬声器产生的回音。

基于上述目的本发明提供的协同会议语音采集方法，包括：

采集当前会议现场的混合语音信号；所述当前会议现场的混合语音信号包括：作为有效语音信号的当前会议现场的参会人员发出的声音，以及，作为回声信号的远端的参会对方或多方的参会人员发出的声音经传输到当前会议现场而由扬声器发出的声音；

结合远端的对方或多方的参会人员发出的声音经传输到当前会议现场的远端信号，通过自适应滤波器消除所述回声信号并得到有效语音信号；

将有效语音信号通过网络发送给参会对方或多方。

在一些实施方式中，所述通过自适应滤波器消除所述回声信号并得到有效语音信号的步骤包括：

提出自适应滤波算法的计算公式如下：

式中k_s为负数，它的取值决定算法的收敛性，为均方误差梯度估计，其计算公式如下：

对该自适应滤波算法的计算公式进行求解，自适应滤波器收敛后得到自适应滤波函数W(n)；

将远端信号通过自适应滤波函数W(n)，得到回声信号；

将混合语音信号直接减去回声信号，得到实际需要发送的有效语音信号，完成回声消除。

在一些实施方式中，所述协同会议语音采集方法，还包括：

将得到的有效语音信号作为反馈信号输入到自适应滤波器，对自适应滤波函数进行实时更新。

本发明的另一方面还提供了一种协同会议语音采集装置，包括：

语音采集模块，用于采集当前会议现场的混合语音信号；所述当前会议现场的混合语音信号包括：作为有效语音信号的当前会议现场的参会人员发出的声音，以及，作为回声信号的远端的参会对方或多方的参会人员发出的声音经传输到当前会议现场而由扬声器发出的声音；

语音处理模块，用于结合远端的对方或多方的参会人员发出的声音经传输到当前会议现场的远端信号，通过自适应滤波器消除所述回声信号并得到有效语音信号；

语音发送模块，用于将有效语音信号通过网络发送给参会对方或多方。

在一些实施方式中，所述语音处理模块，还具体用于：：

提出自适应滤波算法的计算公式如下：

式中k_s为负数，它的取值决定算法的收敛性，为均方误差梯度估计，其计算公式如下：

对该自适应滤波算法的计算公式进行求解，自适应滤波器收敛后得到自适应滤波函数W(n)；

将远端信号通过自适应滤波函数W(n)，得到回声信号；

将混合语音信号直接减去回声信号，得到实际需要发送的有效语音信号，完成回声消除。

在一些实施方式中，所述语音处理模块，还用于将得到的有效语音信号作为反馈信号输入到自适应滤波器，对自适应滤波函数进行实时更新。

在一些实施方式中，所述协同会议语音采集装置，还包括：用于显示当前会议现场的画面以及对方或多方的会议现场的画面的显示器；

所述语音采集模块包括由多个麦克风构成的麦克风阵列，多个麦克风呈直线分布在所述显示器的上横梁上。

从上面所述可以看出，本发明提供的协同会议语音采集方法及装置，能够充分满足协同会议场景的语音采集需求，大大提升了用户体验；同时，对音频数据采集进行了回声消除处理，使得协同会议的参会双方或多方能够感受到更加优质的会议效果。

附图说明

图1为本发明提供的协同会议语音采集方法实施例的流程示意图；

图2为本发明提供的协同会议语音采集方法实施例中对采集的语音进行自适应滤波器算法降噪处理的原理示意图；

图3为自适应滤波算法的原理示意图；

图4为本发明提供的协同会议语音采集装置实施例的结构示意图；

图5为本发明提供的协同会议语音采集装置实施例中显示器的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。

如图1所示，为本发明提供的协同会议语音采集方法实施例的流程示意图。

所述协同会议语音采集方法，包括：

步骤101：采集当前会议现场的混合语音信号；所述当前会议现场的混合语音信号包括：作为有效语音信号的当前会议现场的参会人员发出的声音，以及，作为回声信号的远端的参会对方或多方的参会人员发出的声音经传输到当前会议现场而由扬声器发出的声音；

步骤102：结合远端的对方或多方的参会人员发出的声音经传输到当前会议现场的远端信号，通过自适应滤波器消除所述回声信号并得到有效语音信号；

步骤103：将有效语音信号通过网络发送给参会对方或多方。

从上述实施例可以看出，本发明提供的协同会议语音采集方法，能够充分满足协同会议场景的语音采集需求，大大提升了用户体验；同时，对音频数据采集进行了回声消除处理，使得协同会议的参会双方或多方能够感受到更加优质的会议效果。

结合协同会议场景，下面描述协同会议语音采集方法实施例在当前会议现场中采集语音的原理。假设分别有两个房间——作为当前会议现场的第一房间和远端的视频会议对方的第二房间：

1、第一房间的音频会议系统在采集第一房间中的参会人员发出的语音时会同时接收到第二房间中的语音传递到第一房间的音频会议系统后并从其扬声器2043(参照附图5)中发出的语音；

2、这种混合语音(第一房间中会议人员发出的语音和扬声器2043发出的语音)被第一房间的音频会议系统的麦克风阵列采样，这一采样被称为回声消除参考(亦即混合信号C，其取值为回声信号A+有效信号B，亦即输入信号x(n))；

3、因此，扬声器2043发出的声音和第一房间中的参会人员的语音一起被第一房间的语音采集模块201(其中包括麦克风阵列)拾取；

4、随后混合语音C被送到第一房间的协同会议语音采集装置的语音处理模块202中进行声学回声消除；

5、混合语音C被送到语音采集模块202中，与第二房间传递到第一房间的原始的采样语音进行比较并消除作为噪音的回声信号A(扬声器发出的语音)，同时将第二房间的原始采样语音，然后通过扬声器2043播出。

如图2所示，为本发明提供的协同会议语音采集方法实施例中对采集的语音进行自适应滤波器算法降噪处理(亦即扬声器产生的回声的消除)的原理示意图。

自适应滤波器信号定义如下：

输入信号序列：x(n)，亦即混合信号C；

期望输出信号序列：d(n)，亦即有效语音信号B；

远端信号(第二房间的原始语音采样信号)：fe；

回音路径函数：F(fe)；

回声信号：A。

结合图2，协同会议过程中语音的播放与采集，具体地可包括以下流程：

1)扬声器播放远端信号fe(下行信号)，与此同时，麦克风采集近端信号x(n)(混合信号C)，近端信号包括参会人员发出的语音(有效语音信号B)和扬声器中传出的远端语音(回声信号A)；

2)将混合信号C通过自适应滤波器算法进行降噪处理(回声消除)后，得到有效语音信号B(即参会人员发出的语音被采集到的清晰的信号)，将该有效语音信号B(上行信号d(n))通过网络向远端的视频会议对方发送，由对方的扬声器进行播放。

进一步的，如图3所示，为自适应滤波算法的原理示意图。

所述通过自适应滤波器消除所述回声信号并得到有效语音信号的步骤则可进一步包括：

首先，提出自适应滤波算法的计算公式如下：

式中k_s为负数，它的取值决定算法的收敛性，为均方误差梯度估计，其计算公式如下：

其次，对该自适应滤波算法的计算公式进行求解，回音路径函数F(fe)就是一个自适应滤波器W(n)收敛的过程，自适应滤波器收敛后得到自适应滤波函数W(n)，亦即回音路径函数F(fe)；

收敛之后，当实际回音发生时，将远端信号fe通过自适应滤波函数W(n)，就可以得到一个很准确的回声信号A；

将混合语音信号C直接减去回声信号A，得到实际需要发送的有效语音信号B，完成回声消除。

较佳的，如图3所示，所述协同会议语音采集方法，还包括：

将得到的有效语音信号作为反馈信号输入到自适应滤波器，对自适应滤波函数进行实时更新，以达到最佳的回声消除效果。

本发明的另一方面还提供了一种协同会议语音采集装置，如图4所示，为本发明提供的协同会议语音采集装置实施例的结构示意图。

所述协同会议语音采集装置，包括：

语音采集模块201，用于采集当前会议现场的混合语音信号；所述当前会议现场的混合语音信号包括：作为有效语音信号的当前会议现场的参会人员发出的声音，以及，作为回声信号的远端的参会对方或多方的参会人员发出的声音经传输到当前会议现场而由扬声器发出的声音；

语音处理模块202，用于结合远端的对方或多方的参会人员发出的声音经传输到当前会议现场的远端信号，通过自适应滤波器消除所述回声信号并得到有效语音信号；

语音发送模块203，用于将有效语音信号通过网络发送给参会对方或多方。

从上述实施例可以看出，本发明提供的协同会议语音采集装置，能够充分满足协同会议场景的语音采集需求，大大提升了用户体验；同时，对音频数据采集进行了回声消除处理，使得协同会议的参会双方或多方能够感受到更加优质的会议效果。

结合协同会议场景，下面描述协同会议语音采集方法实施例在当前会议现场中采集语音的原理。假设分别有两个房间——作为当前会议现场的第一房间和远端的视频会议对方的第二房间：

1、第一房间的音频会议系统在采集第一房间中的参会人员发出的语音时会同时接收到第二房间中的语音传递到第一房间的音频会议系统后并从其扬声器2043(参照附图5)中发出的语音；

2、这种混合语音(第一房间中会议人员发出的语音和扬声器2043发出的语音)被第一房间的音频会议系统的麦克风阵列采样，这一采样被称为回声消除参考(亦即混合信号C，其取值为回声信号A+有效信号B，亦即输入信号x(n))；

3、因此，扬声器2043发出的声音和第一房间中的参会人员的语音一起被第一房间的语音采集模块201(其中包括麦克风阵列)拾取；

4、随后混合语音C被送到第一房间的协同会议语音采集装置的语音处理模块202中进行声学回声消除；

5、混合语音C被送到语音采集模块202中，与第二房间传递到第一房间的原始的采样语音进行比较并消除作为噪音的回声信号A(扬声器发出的语音)，同时将第二房间的原始采样语音，然后通过扬声器2043播出。

如图2所示，为本发明提供的协同会议语音采集方法实施例中对采集的语音进行自适应滤波器算法降噪处理(亦即扬声器产生的回声的消除)的原理示意图。

自适应滤波器信号定义如下：

输入信号序列：x(n)，亦即混合信号C；

期望输出信号序列：d(n)，亦即有效语音信号B；

远端信号(第二房间的原始语音采样信号)：fe；

回音路径函数：F(fe)；

回声信号：A。

结合图2，协同会议过程中语音的播放与采集，具体地可包括以下流程：

1)扬声器播放远端信号fe(下行信号)，与此同时，麦克风采集近端信号x(n)(混合信号C)，近端信号包括参会人员发出的语音(有效语音信号B)和扬声器中传出的远端语音(回声信号A)；

2)将混合信号C通过自适应滤波器算法进行降噪处理(回声消除)后，得到有效语音信号B(即参会人员发出的语音被采集到的清晰的信号)，将该有效语音信号B(上行信号d(n))通过网络向远端的视频会议对方发送，由对方的扬声器进行播放。

进一步的，如图3所示，为自适应滤波算法的原理示意图。结合图3，所述语音处理模块202，还具体用于：

提出自适应滤波算法的计算公式如下：

式中k_s为负数，它的取值决定算法的收敛性，为均方误差梯度估计，其计算公式如下：

对该自适应滤波算法的计算公式进行求解，自适应滤波器收敛后得到自适应滤波函数W(n)；

将远端信号通过自适应滤波函数W(n)，得到回声信号；

将混合语音信号直接减去回声信号，得到实际需要发送的有效语音信号，完成回声消除。

较佳的，结合图3所示，所述语音处理模块，还用于将得到的有效语音信号作为反馈信号输入到自适应滤波器，对自适应滤波函数进行实时更新。

较佳的，参照附图5，所述协同会议语音采集装置，还包括：用于显示当前会议现场的画面以及对方或多方的会议现场的画面的显示器204；

所述语音采集模块201包括由多个麦克风2011构成的麦克风阵列，多个麦克风2011呈直线分布在所述显示器204的上横梁上。麦克风数量可根据需要设置为4个、6个、8个等，以图5为例，麦克风数量为4个。4个所述麦克风，每2个麦克风为1个麦克风组，所述显示器204的上横梁的中心设置第一摄像头2041，2个麦克风组分置在第一摄像头2041两侧。所示显示器204的下横梁的中心设置第二摄像头2042，其两侧分别设置用于播放对方或多方的语音的扬声器2043(亦即产生回音的根源)。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种协同会议语音采集方法，其特征在于，包括：

采集当前会议现场的混合语音信号；所述当前会议现场的混合语音信号包括：作为有效语音信号的当前会议现场的参会人员发出的声音，以及，作为回声信号的远端的参会对方或多方的参会人员发出的声音经传输到当前会议现场而由扬声器发出的声音；

结合远端的对方或多方的参会人员发出的声音经传输到当前会议现场的远端信号，通过自适应滤波器消除所述回声信号并得到有效语音信号；

将有效语音信号通过网络发送给参会对方或多方。

2.根据权利要求1所述的方法，其特征在于，所述通过自适应滤波器消除所述回声信号并得到有效语音信号的步骤包括：

提出自适应滤波算法的计算公式如下：

$W(n+1)=W\left(n\right)+k_s\hat{V}\[{\mathrm{\ϵ}}^2\left(n\right)\],$

式中k_s为负数，它的取值决定算法的收敛性，为均方误差梯度估计，其计算公式如下：

$\hat{V}\[{\mathrm{\ϵ}}^2\left(n\right)\]=-2\mathrm{\ϵ}\left(n\right)x\left(n\right);$

对该自适应滤波算法的计算公式进行求解，自适应滤波器收敛后得到自适应滤波函数W(n)；

将远端信号通过自适应滤波函数W(n)，得到回声信号；

将混合语音信号直接减去回声信号，得到实际需要发送的有效语音信号，完成回声消除。

3.根据权利要求1所述的方法，其特征在于，还包括：

将得到的有效语音信号作为反馈信号输入到自适应滤波器，对自适应滤波函数进行实时更新。

4.一种协同会议语音采集装置，其特征在于，包括：

语音采集模块，用于采集当前会议现场的混合语音信号；所述当前会议现场的混合语音信号包括：作为有效语音信号的当前会议现场的参会人员发出的声音，以及，作为回声信号的远端的参会对方或多方的参会人员发出的声音经传输到当前会议现场而由扬声器发出的声音；

语音处理模块，用于结合远端的对方或多方的参会人员发出的声音经传输到当前会议现场的远端信号，通过自适应滤波器消除所述回声信号并得到有效语音信号；

语音发送模块，用于将有效语音信号通过网络发送给参会对方或多方。

5.根据权利要求4所述的装置，其特征在于，所述语音处理模块，还具体用于：

提出自适应滤波算法的计算公式如下：

$W(n+1)=W\left(n\right)+k_s\hat{V}\[{\mathrm{\ϵ}}^2\left(n\right)\],$

式中k_s为负数，它的取值决定算法的收敛性，为均方误差梯度估计，其计算公式如下：

$\hat{V}\[{\mathrm{\ϵ}}^2\left(n\right)\]=-2\mathrm{\ϵ}\left(n\right)x\left(n\right);$

对该自适应滤波算法的计算公式进行求解，自适应滤波器收敛后得到自适应滤波函数W(n)；

将远端信号通过自适应滤波函数W(n)，得到回声信号；

将混合语音信号直接减去回声信号，得到实际需要发送的有效语音信号，完成回声消除。

6.根据权利要求4所述的装置，其特征在于，所述语音处理模块，还用于将得到的有效语音信号作为反馈信号输入到自适应滤波器，对自适应滤波函数进行实时更新。

7.根据权利要求4所述的装置，其特征在于，还包括：用于显示当前会议现场的画面以及对方或多方的会议现场的画面的显示器；；

所述语音采集模块包括由多个麦克风构成的麦克风阵列，多个麦克风呈直线分布在所述显示器的上横梁上。