CN115798495A - 会议终端及用于会议的回声消除方法 - Google Patents

Abstract

本发明提供一种会议终端及用于会议的回声消除方法。在方法中，接收合成语音信号。这合成语音信号包括那些会议终端中的第一会议终端对应的发话者的用户语音信号、以及第一会议终端对应的声音水印信号。检测收音信号中声音水印信号所对应的一个或更多个延迟时间。这收音信号是通过那些会议终端中的第二会议终端的收音器所录制。根据延迟时间消除收音信号中的回声。藉此，可减少回声消除的收敛时间。

Description

会议终端及用于会议的回声消除方法

技术领域

本发明涉及一种语音会议，尤其涉及一种会议终端及用于会议的回声消除方法。

背景技术

远程会议可让不同位置或空间中的人进行对话，且会议相关设备、协议和/或应用程序也发展相当成熟。值得注意的是，在实际情况中，可能有多人各自使用自己的通话装置处于同一个空间中参与电话或视频会议。当这些通话装置共同通话时，装置上的麦克风会收到许多其他装置的喇叭所播出声音，形成许多不稳定的回授机制，还造成明显的嚣叫声，进而影响通话会议的进行。虽然现今已有消除回声(echo cancellation)的相关算法，但实际情况中的通话装置彼此间的位置可能会改变，进而影响消除回声的延迟时间。此外，通话的语音信号不断地变化，在电话会议中消除回声将难以立即达到收敛效果。

发明内容

本发明是针对一种会议终端和用于会议的回声消除方法，利用水印信号加快收敛速度。

根据本发明的实施例，用于会议的回声消除方法适用于多台会议终端，且各会议终端包括收音器和扬声器。回声消除方法包括(但不仅限于)下列步骤：接收合成语音信号。这合成语音信号包括那些会议终端中的第一会议终端对应的发话者的用户语音信号、以及第一会议终端对应的声音水印信号。检测收音信号中声音水印信号所对应的一个或更多个延迟时间。这收音信号是通过那些会议终端中的第二会议终端的收音器所录制。根据延迟时间消除收音信号中的回声。

根据本发明的实施例，会议终端包括(但不仅限于)收音器、扬声器、通信收发器和处理器。收音器用以录音以获得发话者的收音信号。扬声器用以播放声音。通信收发器用以传送或接收数据。处理器耦接收音器、扬声器和通信收发器。处理器经配置用以接收合成语音信号，检测收音信号中声音水印信号所对应的一个或更多个延迟时间，并根据延迟时间消除收音信号中的回声。这合成语音信号包括那些会议终端中的另一会议终端对应的发话者的用户语音信号、以及这另一会议终端对应的声音水印信号。

基于上述，根据本发明实施例的会议终端和用于会议的回声消除方法，使用已知且固定的声音水印信号来进行回声消除，并藉以降低回声消除所需的收敛时间。此外，声音水印信号可能不会被用户听到，并使会议能顺利进行。

附图说明

包含附图以便进一步理解本发明，且附图并入本说明书中并构成本说明书的一部分。附图说明本发明的实施例，并与描述一起用于解释本发明的原理。

图1是根据本发明一实施例的会议系统的示意图；

图2是根据本发明一实施例的用于会议的回声消除方法的流程图；

图3是根据本发明一实施例说明合成语音信号的产生的示意图；

图4是根据本发明一实施例的会议系统的示意图；

图5是根据本发明一实施例的用于会议的回声消除方法的流程图。

附图标号说明

1、1’:会议系统；

10a～10e:会议终端；

30:本地信号管理装置；

50:分配服务器；

11:收音器；

13:扬声器；

15:通信收发器；

17:存储器；

19:处理器；

A～E:收音信号；

A’～E’:用户语音信号；

A”～E”:输出声音信号；

M^A～M^E:声音水印信号；

A^W～E^W:合成语音信号；

τ₁ ^CA、τ₂ ^CA、τ₁ ^DA、τ₂ ^DA、τ₁ ^EA、τ₂ ^EA:初始延迟时间；

C^W(n-τ₁ ^CA)、C^W(n-τ₂ ^CA)、D^W(n-τ₁ ^DA)、D^W(n-τ₂ ^DA)、E^W(n-τ₁ ^EA)、E^W(n-τ₂ ^EA):初始延迟信号；

S210～S250、S510～S570:步骤。

具体实施方式

现将详细地参考本发明的示范性实施例，示范性实施例的实例说明于附图中。只要有可能，相同组件符号在附图和描述中用来表示相同或相似部分。

图1是根据本发明一实施例的会议系统1的示意图。请参照图1，会议系统1包括(但不仅限于)多台会议终端10a,10c、多台本地信号管理装置30和分配服务器50。

各会议终端10a,10c可以是有线电话、移动电话、平板计算机、台式电脑、笔记本电脑或智能型喇叭。各会议终端10a,10c包括(但不仅限于)收音器11、扬声器13、通信收发器15、存储器17和处理器19。

收音器11可以是动圈式(dynamic)、电容式(Condenser)、或驻极体电容(ElectretCondenser)等类型的麦克风，收音器11也可以是其他可接收声波(例如，人声、环境声、机器运作声等)而转换为声音信号的电子组件、模拟至数字转换器、滤波器、和音频处理器的组合。在一实施例中，收音器11用以对发话者收音/录音，以获得收音信号。这收音信号可能包括发话者的声音、扬声器13所发出的声音和/或其他环境音。

扬声器13可以是喇叭或扩音器。在一实施例中，扬声器13用以播放声音。

通信收发器15例如是支持以太网络(Ethernet)、光纤网络、或电缆等有线网络的收发器(其可能包括(但不仅限于)连接接口、信号转换器、通信协议处理芯片等组件)，也可能是支持Wi-Fi、第四代(4G)、第五代(5G)或更后世代行动网络等无线网络的收发器(其可能包括(但不仅限于)天线、数字至模拟/模拟至数字转换器、通信协议处理芯片等组件)。在一实施例中，通信收发器15用以传送或接收数据。

存储器17可以是任何型态的固定或可移动随机存取存储器(Radom AccessMemory，RAM)、只读存储器(Read Only Memory，ROM)、快闪存储器(flash memory)、传统硬盘(Hard Disk Drive，HDD)、固态硬盘(Solid-State Drive，SSD)或类似组件。在一实施例中，存储器17用以记录程序代码、软件模块、组态配置、数据(例如，声音信号、或延迟时间等)或文件。

处理器19耦接收音器11、扬声器13、通信收发器15和存储器17。处理器19可以是中央处理单元(Central Processing Unit，CPU)、图形处理单元(Graphic Processing unit，GPU)，或是其他可程序化的一般用途或特殊用途的微处理器(Microprocessor)、数字信号处理器(Digital Signal Processor，DSP)、可程序化控制器、现场可程序化逻辑门阵列(Field Programmable Gate Array，FPGA)、特殊应用集成电路(Application-SpecificIntegrated Circuit，ASIC)或其他类似组件或上述组件的组合。在一实施例中，处理器19用以执行所属会议终端10a,10c的所有或部分作业，且可加载并执行存储器17所记录的各软件模块、文件和数据。

本地信号管理装置30分别经由网络连接会议终端10a,10c。本地信号管理装置30可以是计算机系统、服务器或信号处理装置。在一实施例中，会议终端10a,10c可作为本地信号管理装置30。在另一实施例中，本地信号管理装置30可作为不同于会议终端10a,10c的独立中间设备。在一些实施例中，本地信号管理装置30包括(但不仅限于)相同或相似的通信收发器15、存储器17和处理器19，且组件的实施方式和功能将不再赘述。

此外，在一实施例中，假设连接相同本地信号管理装置30的会议终端处于相同区域(例如，特定空间、范围、隔间或楼层)。而图1中的会议终端10a,10c分处于不同区域。然而，任一台本地信号管理装置30所连接的会议终端的数量不限于一台。

分配服务器50经由网络连接本地信号管理装置30。分配服务器50可以是计算机系统、服务器或信号处理装置。在一实施例中，会议终端10a,10c或本地信号管理装置30可作为分配服务器50。在另一实施例中，分配服务器50可作为不同于会议终端10a,10c或本地信号管理装置30的独立云端服务器。在一些实施例中，分配服务器50包括(但不仅限于)相同或相似的通信收发器15、存储器17和处理器19，且组件的实施方式和功能将不再赘述。

下文中，将搭配会议系统1中的各项装置、组件和模块说明本发明实施例所述的方法。本方法的各个流程可依照实施情形而调整，且并不仅限于此。

另需说明的是，为了方便说明，相同组件可实现相同或相似的操作，且将不再赘述。例如，由于会议终端10a,10c可作为本地信号管理装置30或分配服务器50，且本地信号管理装置30也可作为分配服务器50，因此在一些实施例中会议终端10a,10c、本地信号管理装置30和分配服务器50的处理器19皆可实现本发明实施例相同或相似的方法。

图2是根据本发明一实施例的用于会议的回声消除方法的流程图。请参照图1和图2，假设会议终端10a,10c建立通话会议。例如，通过视讯软件、语音通话软件或拨打电话等方式建立会议，发话者即可开始说话。会议终端10a的处理器19可通过通信收发器15接收合成语音信号C^W(步骤S210)。具体而言，这合成语音信号C^W包括会议终端10c对应的发话者的用户语音信号C’、以及会议终端10c对应的声音水印信号M^C。

举例而言，图3是根据本发明一实施例说明合成语音信号C^W的产生的示意图。请参照图3，用户语音信号C’是会议终端10c通过其收音器11录制所产生。用户语音信号C’可能包括发话者的声音、扬声器13所播放的声音和/或其他环境声音。分配服务器50可在时域通过展频(Spread spectrum)、回声隐藏(Echo hiding)、相位编码(Phase encoding)等方式在会议终端10a对应的发话者的用户语音信号C’中加入声音水印信号M^C，以形成合成语音信号C^W。或者，分配服务器50可在频域通过调变载波(Modulated carries)、扣除频带(Subtracting frequency bands)等方式在会议终端10a对应的发话者的用户语音信号C’中加入声音水印信号M^C，以形成合成语音信号C^W。须说明的是，本发明实施例不加以限制水印嵌入的算法。

在一实施例中，声音水印信号M^C的频率高于16千赫兹(kHz)，从而避免人类听到。在另一实施例中，声音水印信号M^C的频率也可能低于16kHz。

在一实施例中，声音水印信号M^C用于识别会议终端10c。例如，声音水印信号M^C为记录会议终端10c的标识符的声音、图片或编码。然而，在一些实施例中，本发明不加以限制声音水印信号M^C的内容。此外，声音水印信号M^A和合成语音信号A^W甚至是其他会议装置的声音水印信号和合成语音信号的产生可参酌前述说明，且于此不再赘述。

分配服务器50将合成语音信号C^W传送给本地信号管理装置30。本地信号管理装置30将合成语音信号C^W作为预期会议终端10a播放的输出声音信号A”，并据以传送给会议终端10a，使会议终端10a接收到合成语音信号C^W。

会议终端10a的处理器19可通过扬声器13播放输出声音信号A”(在本实施例为合成语音信号C^W)。另一方面，会议终端10a的处理器19可通过收音器11录音/收音/录制以获得的收音信号A。

会议终端10a的处理器19可检测收音信号A中声音水印信号M^C所对应的一个或更多个延迟时间(步骤S230)。具体而言，假设会议终端10a已知其他会议终端(例如，会议终端10c)对应的声音水印信号。值得注意的是，会议终端10a的处理器19可根据所属区域中的所有或部分会议终端(例如，本实施例是会议终端10a)自身的扬声器13所播放的输出声音信号A”消除自身收音器11所收到的收音信号A中的回声。

而输出声音信号A”包括合成语音信号C^W。在一实施例中，若欲检测收音器信号A中的合成语音信号C^W对应的延迟时间，则会议终端10a的处理器19可根据收音信号A与声音水印信号M^C之间的相关性确定初始延迟时间τ₁ ^CA,τ₂ ^CA(假设对应到两个时间，但不以此为限)。这些初始延迟时间τ₁ ^CA,τ₂ ^CA为相关性越高者所对应的时间。例如，处理器19可根据收音信号A与声音水印信号M^C的交叉相关(cross-correlation)中的峰值(即，相关性最高者)估测声音水印信号M^C经扬声器13传递至收音器11的初始延迟时间。由于峰值可能不指一个，因此初始延迟时间τ₁ ^CA,τ₂ ^CA的数量可能超过一个。须说明的是，估测延迟时间的算法还有很多种，且本发明实施例不加以限制。

在一实施例中，处理器19可根据那些初始延迟时间τ₁ ^CA,τ₂ ^CA产生对应于用户语音信号C’的一个或更多个初始延迟信号C^W(n-τ₁ ^CA),C^W(n-τ₂ ^CA)。这些初始延迟信号C^W(n-τ₁ ^CA),C^W(n-τ₂ ^CA)相对于用户语音信号C’的延迟时间为初始延迟时间τ₁ ^CA,τ₂ ^CA。值得注意的是，在时变系统下，整个传递系统的延迟时间将跟随空间的变化而有所不同。因此，处理器19可将合成语音信号C^W或声音水印信号M^C的延迟时间定义成未知的延迟时间Δt^C。收音信号A即包括发话者的声音信号a(n)和属于会议终端10c的合成语音信号C^W(n-Δt^C)。而回声消除的目的即是找出正确的延迟时间Δt^C，并据以将多余的声音(例如，合成语音信号C^W(n-Δt^C))消除，让用户语音信号A’仅留下发话者的声音信号a(n)。

处理器19可根据初始延迟信号C^W(n-τ₁ ^CA),C^W(n-τ₂ ^CA)估测回声路径。具体而言，声音水印信号M^C经这回声路径后延迟那经收敛的延迟时间，且回声路径是收音器11和扬声器13之间的信道。处理器19可将初始延迟信号C^W(n-τ₁ ^CA),C^W(n-τ₂ ^CA)带入各类型自适性滤波器(例如，最小均方误差(Least Mean Square，LMS)、次带自适性滤波器(Sub-band AdaptiveFilter，SAF)或正规化最小均方误差(Normalized Least Mean Square，NLMS))，并据以估测回声路径的脉冲响应且使滤波器收敛。当滤波器收敛至稳态时，处理器19使用稳态下的滤波器系数来估测经回声路径延迟的合成语音信号C^W(n-Δt^C)，并据以得出延迟时间Δt^C。

会议终端10a的处理器19可根据延迟时间Δt^C消除收音信号A中的回声(步骤S250)。具体而言，假设收音信号A中的回声是合成语音信号C^W(n-Δt^C)。由于合成语音信号C^W和Δt^C皆已知，因此处理器19可产生合成语音信号C^W(n-Δt^C)，并对收音信号A消除合成语音信号C^W(n-Δt^C)，即达成回声消除。

须说明的是，本发明实施例不限于图1所示的一对一的会议。以下再举一实施例说明：

图4是根据本发明一实施例的会议系统1’的示意图。请参照图4，会议系统1’包括(但不仅限于)多台会议终端10a～10e、多台本地信号管理装置30和分配服务器50。

会议终端10b,10c,10d,10e、本地信号管理装置30和分配服务器50的实施方式和其功能可分别参酌图1～图3针对前述会议终端10a、本地信号管理装置30和分配服务器50的说明，于此不再赘述。

在本实施例中，根据不同本地信号管理装置30来分区，会议终端10a,10b在第一区域，会议终端10c在第二区域，且会议终端10d,10e在第三区域。分配服务器50可分别在会议终端10a～10e对应的发话者的用户语音信号A’～E’中加入声音水印信号M^A～M^E，以形成合成语音信号A^W～E^W。分配服务器50将来自第二区域和第三区域的合成语音信号C^W～E^W传送给第一区域的本地信号管理装置30，将来自第一区域和第三区域的合成语音信号A^W,B^W,D^W,E^W传送给第二区域的本地信号管理装置30，并将来自第一区域和第二区域的合成语音信号A^W～C^W传送给第三区域的本地信号管理装置30。

值得注意的是，与图1不同处在于，图4的会议终端10a的输出声音信号A”可包括合成语音信号C^W～E^W。因此，除了声音水印信号M^C，会议终端10a的处理器19进一步检测收音信号A中声音水印信号M^D,M^E所对应的一个或更多个延迟时间。

具体而言，图5是根据本发明一实施例的用于会议的回声消除方法的流程图。请参照图5，会议终端10a的处理器19获得声音水印信号M^C～M^E(步骤S510)。这些声音水印信号M^C～M^E可能已事先存储、经用户输入或自网络下载。处理器19检测声音水印信号M^C～M^E在收音器11所录制的收音信号A中的初始延迟时间τ₁ ^CA,τ₂ ^CA,τ₁ ^DA,τ₂ ^DA,τ₁ ^EA,τ₂ ^EA(步骤S530)(假设各声音水印信号分别对应到两个延迟时间)。处理器19根据这些初始延迟时间τ₁ ^CA,τ₂ ^CA,τ₁ ^DA,τ₂ ^DA,τ₁ ^EA,τ₂ ^EA确定声音水印信号M^C～M^E的初始延迟信号C^W(n-τ₁ ^CA),C^W(n-τ₂ ^CA),D^W(n-τ₁ ^DA),D^W(n-τ₂ ^DA),E^W(n-τ₁ ^EA),E^W(n-τ₂ ^EA)(步骤S550)。处理器19自收音信号A中分别消除初始延迟信号C^W(n-τ₁ ^CA),C^W(n-τ₂ ^CA),D^W(n-τ₁ ^DA),D^W(n-τ₂ ^DA),E^W(n-τ₁ ^EA),E^W(n-τ₂ ^EA)，以加快回声消除的收敛时间，进而消除收音信号A中属于合成语音信号C^W～E^W的成分(步骤S570)。

综上所述，在本发明实施例的会议装置和用于会议的回声消除方法中，利用已知的声音水印信号估计所欲消除合成语音信号的延迟时间，并据以消除这些其他会议装置的合成语音信号。其中，本发明实施例先得出声音水印信号对应的初始延迟时间，可减少回声消除的收敛时间。即便会议装置之间的位置关系不断地变动，仍可达到预期的收敛效果。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种用于会议的回声消除方法，适用于多个会议终端，每一所述会议终端包括收音器和扬声器，其特征在于，所述回声消除方法包括：

接收合成语音信号，其中所述合成语音信号包括所述会议终端中的第一会议终端对应的发话者的用户语音信号、以及所述第一会议终端对应的声音水印信号；

检测收音信号中所述声音水印信号所对应的至少一延迟时间，其中所述收音信号是通过所述会议终端中的第二会议终端的所述收音器所录制；以及

根据所述至少一延迟时间消除所述收音信号中的回声。

2.根据权利要求1所述的用于会议的回声消除方法，其特征在于，检测所述收音信号中所述声音水印信号所对应的所述至少一延迟时间的步骤包括：

根据所述收音信号与所述声音水印信号之间的相关性确定至少一初始延迟时间，其中所述至少一初始延迟时间为所述相关性越高者所对应的时间。

3.根据权利要求2所述的用于会议的回声消除方法，其特征在于，检测所述收音信号中所述声音水印信号所对应的所述至少一延迟时间的步骤包括：

根据所述至少一初始延迟时间产生对应于所述用户语音信号的至少一初始延迟信号，其中所述至少一初始延迟信号相对于所述用户语音信号的延迟时间为所述至少一初始延迟时间；以及

根据所述至少一初始延迟信号估测回声路径，其中所述声音水印信号经所述回声路径后延迟所述至少一延迟时间，且所述回声路径是所述收音器和所述扬声器之间的信道。

4.根据权利要求1所述的用于会议的回声消除方法，其特征在于，所述合成语音信号还包括所述会议终端中的第三会议终端对应的发话者的第二用户语音信号、以及所述第三会议终端对应的第二声音水印信号，且所述回声消除方法还包括：

检测所述收音信号中所述第二声音水印信号所对应的至少一延迟时间。

5.根据权利要求1所述的用于会议的回声消除方法，其特征在于，所述声音水印信号的频率高于16千赫兹。

6.一种会议终端，包括：

收音器，用以录音以获得对应的发话者的收音信号；

扬声器，用以播放声音；

通信收发器，用以传送或接收数据；

处理器，耦接所述收音器、所述扬声器和所述通信收发器，其特征在于，所述处理器经配置用以：

通过所述通信收发器接收合成语音信号，其中所述合成语音信号包括第二会议终端对应的发话者的用户语音信号、以及所述第二会议终端对应的声音水印信号；

检测所述收音信号中所述声音水印信号所对应的至少一延迟时间；以及

根据所述至少一延迟时间消除所述收音信号中的回声。

7.根据权利要求6所述的会议终端，其特征在于，所述处理器还经配置用以：

根据所述收音信号与所述声音水印信号之间的相关性确定至少一初始延迟时间，其中所述至少一初始延迟时间为所述相关性越高者所对应的时间。

8.根据权利要求7所述的会议终端，其特征在于，所述处理器还经配置用以：

根据所述至少一初始延迟时间产生对应于所述用户语音信号的至少一初始延迟信号，其中所述至少一初始延迟信号相对于所述用户语音信号的延迟时间为所述至少一初始延迟时间；以及

根据所述至少一初始延迟信号估测回声路径，其中所述声音水印信号经所述回声路径后延迟所述至少一延迟时间，且所述回声路径是所述收音器和所述扬声器之间的信道。

9.根据权利要求6所述的会议终端，其特征在于，所述合成语音信号还包括所述会议终端中的第三会议终端对应的发话者的第二用户语音信号、以及所述第三会议终端对应的第二声音水印信号，且所述处理器还经配置用以：

检测所述收音信号中所述第二声音水印信号所对应的至少一延迟时间。

10.根据权利要求6所述的会议终端，其特征在于，所述声音水印信号的频率高于16千赫兹。

Images