CN104767895A - 一种用于分组声学回声消除的方法与设备 - Google Patents

Abstract

本发明的目的是提供一种用于分组声学回声消除的方法与设备。回声消除设备通过获取待进行分组声学回声消除的同一多方通话中一个或多个源语音分组流，从所述一个或多个源语音分组流中选择分组，以获得对应于所述多方通话的广播流，根据所述广播流所对应的参考分组流，对所述广播流所对应的目标分组流进行回声消除，以获得与所述目标分组流相对应的已消除回声分组流，最后将所述已消除回声分组流广播至所述多方通话中的通话端。与现有技术相比，本发明实现了多方通话的分组回声消除，减轻了用于分组声学回声消除的缓冲区消耗、信道分配及对应的维护与信令开销，提高了分组声学回声消除的性能且使分组声学回声消除的性能与参与方数量无关。

Description

一种用于分组声学回声消除的方法与设备

技术领域

本发明涉及通信领域，尤其涉及一种用于分组声学回声消除的技术。

背景技术

在基于分组技术的网络中，媒体服务器提供多种基本型和增强型的服务，例如会议、音频与视频交互式语音响应（interactive voiceresponse,IVR）、转码、音频与视频通知、以及其它的高级语音服务。所述媒体服务器的会议设施允许若干参与者加入会议。图1展示了一个简化的N方（N=3）音频会议模型。提供会议服务的所述媒体服务器支持三方音频会议。三个参与者分别为A、B、C。媒体服务器可为每个会议参与方实施转码，以保证从每个参与者接收的分组语音能够被转码成统一的编解码器类型（codec type），从而使得所述会议设施后续的“混音”功能能够正常工作。所述的“混音”功能被用于将N方目标流（即从媒体服务器角度看的输入流）混音成统一的广播流。所述广播流然后被“广播”出去形成所有的参考流（即从媒体服务器角度看的输出流）。

电话网络中的声学回声是由于手机或者其它免提设备的设计不佳，语音接收方扬声器发出的声音送到接收方麦克风（进而送回语音发送方）而引起的。这严重地降低了语音通信质量，特别是在基于分组的音频会议中。

通常对于音频会议（包括视频会议中的音频会话），有3种类型的声学回声。

1.本地回声。如图2所示，A发出的分组语音被反馈回A，可称作“本地”回声。

2.远端回声。如图3所示，B的扬声器回放A的声音给B的麦克风，因为B的设备没有回声消除功能，最后A的声音被送回A，可称作“远端”回声。

3.邻接回声。如图4所示，A的声音被发送至C和B，B的扬声器回放A的声音到B的麦克风，因为B的设备没有回声消除功能，A的声音（即在B产生的回声）最后又被发送至C，导致C先后接收到两次A的声音，可称作“邻接”回声。

所有这三种声学回声都会使得音频会议的质量受损。提供声学回声消除（acoustic echo cancellation，AEC）对于保证音频会议质量是必要的，这样才能使用户满意。

在现有技术中，有2种基于分组的用于音频会议的声学回声消除方法。

一种方法依赖于分配给所有参与设备的AEC来保证没有回声被发送至会议设施，也就不会有回声被广播至其它各方。图5描述了这种方法。目标流（即从参与方角度看的输出流）将会与历史参考流（即从参与方角度看的输入流）相对比，以检测声学回声，然后包含声学回声的目标分组将会被消除或抑制，从而没有声学回声被发送至会议设施，也就不会有声学回声被广播。

这种方法的缺点很明显——首先，由于该方法只能保证没有回声从参与方被发送至会议设施，但是无法保证从广播端至参与方方向的回声消除，因此它无法消除本地回声。其次，它需要所有参与方的设备均装有AEC。若有一方设备未安装AEC，其它参与方可能仍然会收到由该方生成的远端回声和邻接回声。例如，B的设备没有安装AEC，其对A造成了远端回声，且对C造成了邻接回声。分配在A端的AEC仅仅能消除来自A的目标流中的回声，而不能消除发送至A的参考流中的回声（远端回声）。被分配至C端的AEC仅能消除来自C的目标流中的回声，而不能消除发送至C的参考流中的回声（邻接回声）。即使C的设备可使用“双向PAEC”也无法消除发送至C的邻接回声，这是因为“双向PEAC”依靠两个方向的流，而从A至C的原始语音以及从B至C的邻接回声都存在于发送至C的同样的参考流中。

第二种方法依赖会议设施中的PAEC信道，如图6所示，每个目标流（即从服务器角度看的输入流）都将与其历史参考流（即从服务器角度看的输出流）进行对比，以检测声学回声。包含声学回声的目标分组将会被消除或抑制，因此没有声学回声会被混音，进而被广播。所述广播功能需要少许智能化以避免反向广播，从而来自一方语音分组不会被发送回该方以避免本地回声。

这种方法的缺点很明显——它需要为所有参与方分配PAEC信道。会议的参与方越多，会议设施用于PAEC的资源就越多。

发明内容

本发明的目的是提供一种用于分组声学回声消除的方法与设备。

根据本发明的一个方面，提供了一种分组声学回声消除的方法，其中，该方法包括以下步骤：

a获取待进行分组声学回声消除的多方通话中一个或多个源语音分组流，其中，每个源语音分组流源自所述多方通话中的一个通话端；

b从所述一个或多个源语音分组流中选择分组，以获得对应于所述多方通话的广播流；

c根据所述广播流所对应的参考分组流，对所述广播流所对应的目标分组流进行回声消除，以获得与所述目标分组流相对应的已消除回声分组流；

d将所述已消除回声分组流广播至所述多方通话中的通话端。

根据本发明的另一方面，还提供了一种用于分组声学回声消除的回声消除设备，其中，该设备包括：

获取装置，用于获取待进行分组声学回声消除的多方通话中一个或多个源语音分组流，其中，每个源语音分组流源自所述多方通话中的一个通话端；

选择装置，用于从所述一个或多个源语音分组流中选择分组，以获得对应于所述多方通话的广播流；

消除装置，用于根据所述广播流所对应的参考分组流，对所述广播流所对应的目标分组流进行回声消除，以获得与所述目标分组流相对应的已消除回声分组流；

广播装置，用于将所述已消除回声分组流广播至所述多方通话中的通话端。

与现有技术相比，本发明通过获取待进行分组声学回声消除的多方通话中一个或多个源语音分组流，从所述一个或多个源语音分组流中选择分组，以获得对应于所述多方通话的广播流，根据所述广播流所对应的参考分组流，对所述广播流所对应的目标分组流进行回声消除，以获得与所述目标分组流相对应的已消除回声分组流，最后将所述已消除回声分组流广播至所述多方通话中的通话端；从而实现了多方通话的分组回声消除，减轻了用于分组声学回声消除的缓冲区消耗、信道分配及对应的维护与信令开销，提高了分组声学回声消除的性能且使分组声学回声消除的性能与参与方数量无关。

而且，本发明还可以根据所述会议的呼叫参数，结合所述目标分组流与参考分组流的分组语音长度，确定存储所述目标分组流与所述参考分组流的存储空间参数信息；从而利用所述参数信息，避免对整个存储空间进行遍历，提高回声检测效率。

而且，本发明还可以根据所述广播流中所对应的参考分组流，结合所述广播流中所对应的目标分组流中的每个分组所对应的源地址信息，对所述目标分组流进行回声消除，以获得与所述目标分组流相对应的已消除回声分组流；从而根据源地址信息检测所对应的通话终端的状态，若该端配备了分组声学回声消除装置，则可以省略来自该通话终端的新分组的对比计算，提高分组声学回声消除的性能。

而且，本发明还可以根据所述目标分组流中每个分组所对应的源地址信息，确定与所述已消除回声分组流相对应的所述多方通话中的一个或多个目标通话端，将所述已消除回声分组流广播至所述一个或多个目标通话端；从而在广播前对目标通话端进行判断，防止回传广播，可避免本地回声。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1示出根据本发明一个方面的一种简化的N方（N=3）音频会议模型的结构示意图；

图2示出根据本发明一个方面的一种本地回声的形成示意图；

图3示出根据本发明一个方面的一种远端回声的形成示意图；

图4示出根据本发明一个方面的一种邻接回声的形成示意图；

图5示出根据现有技术的一种基于终端的多方分组声学回声消除示意图；

图6示出根据现有技术的一种基于服务器的多方分组声学回声消除示意图；

图7示出根据本发明一个方面的一种基于服务器的与会议参与者数量无关的多方分组声学回声消除示意图；

图8示出根据本发明一个方面的一种用于分组声学回声消除的回声消除设备示意图；

图9示出根据本发明一个优选实施例的一种用于分组声学回声消除的回声消除设备示意图；

图10示出根据本发明另一个方面的一种用于分组声学回声消除的方法流程图；

图11示出根据本发明一个优选实施例的一种用于分组声学回声消除的方法流程图；

图12示出根据本发明的一个方面的一种用于进行分组声学回声消除的分组对比示意图。

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

下面结合附图对本发明作进一步详细描述。

图8示出根据本发明一个方面的一种用于分组声学回声消除的回声消除设备示意图；其中，所述回声消除设备包括获取装置1、选择装置2、消除装置3、广播装置4。具体地，获取装置1获取待进行分组声学回声消除的多方通话中一个或多个源语音分组流，其中，每个源语音分组流源自所述多方通话中的一个通话端；选择装置2从所述一个或多个源语音分组流中选择分组，以获得对应于所述多方通话的广播流；消除装置3根据所述广播流所对应的参考分组流，对所述广播流所对应的目标分组流进行回声消除，以获得与所述目标分组流相对应的已消除回声分组流；广播装置4将所述已消除回声分组流广播至所述多方通话中的通话端。

在此，所述回声消除设备包括但不限于能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子硬件设备或软件设备；其中，所述硬件设备包括但不限于微处理器、专用集成电路(ASIC)、可编程门阵列（FPGA）、数字处理器（DSP）、嵌入式设备等。本领域技术人员应能理解，其它的回声消除设备同样适用于本发明，也应包含在本发明保护范围以内，并在此以引用方式包含于此。

所述回声消除设备可以被应用在任何的多方会议中。

上述各装置之间是持续不断工作的，在此，本领域技术人员应理解“持续”是指上述各装置分别实时地，或者按照设定的或实时调整的工作模式要求，进行多方通话中一个或多个源语音分组流的获取、广播流的获取、已消除回声分组流的获取、已消除回声分组流的广播等，直至所述回声消除设备停止获取待进行分组声学回声消除的多方通话中一个或多个源语音分组流。

获取装置1获取待进行分组声学回声消除的多方通话中一个或多个源语音分组流，其中，每个源语音分组流源自所述多方通话中的一个通话端。

具体地，所述获取装置1与多方通话（如同一会议）中的一个或多个通话端相交互，以获取由所述通话端发送至广播端的待进行分组声学回声消除的源语音分组流；其中，所述源语音分组流中包含一个或多个分组（packet），且所述源语音分组流的分组中可能包含回声包。由于每个语音分组流源自所述多方通话中的一个通话端，因此所述获取装置1可以获取所述多方通话中一个或多个源语音分组流；例如，若所述多方通话中包含通话端A、通话端B、通话端C，则所述获取装置1可以获取由所述通话端A发送至广播端的源语音分组流，由所述通话端B送至广播端的源语音分组流，以及由所述通话端C送至广播端的源语音分组流。

选择装置2从所述一个或多个源语音分组流中选择分组，以获得对应于所述多方通话的广播流。

具体地，所述选择装置2根据所述源语音分组流中分组的语音强度信息，或是根据所述源语音分组流中分组的连续性信息（例如，之前说话的人有更高的优先级被继续选择），从所述一个或多个源语音分组流中选择分组，根据所选择的多个分组信息，生成对应于所述多方通话的广播流，以保证不会发生混音。

这是由于在基于分组的音频会议中，当超过一个参与方同时说话时，将他们的声音混音广播不会有助于提高所述语音质量，并且混音操作复杂，包括解码分组、合成分组、编码分组。相反地，从谈话参与方之一选择某个时间段的语音，更为简单有效。

消除装置3根据所述广播流所对应的参考分组流，对所述广播流所对应的目标分组流进行回声消除，以获得与所述目标分组流相对应的已消除回声分组流。

具体地，所述消除装置3根据所述广播流，将所述广播流中的一个或多个新分组作为所述广播流所对应的目标分组流，其中，所述新分组中可能包含回声；并将在同一个所述广播流中的一个或多个历史分组作为与所述广播流相对应的参考分组流，其中，所述历史分组为在时序上早于所述新分组的分组，特殊情况下，所述历史分组中可能包含回声。

所述消除装置3在缓冲区或其它可进行高速读写的装置中，将所述参考分组流中的一个或多个分组与所述目标分组流中的一个或多个分组进行对比，例如基于分组声学回声消除算法（PAEC算法）来判断两者是否相似，从而检测所述目标分组流中是否包含回声包，若存在相似的一个或多个分组，则所述目标分组流中包含回声包；其中，所述可进行高速读写的装置能够保留较长一段时间的历史语音。

若包含回声包，则所述消除装置3通过删除所述回声包或者利用替换包对所检测出的回声包进行替换等方式对所述目标分组流进行回声消除。具体地，例如，利用替换包对所检测出的回声包进行替换，以获得与所述目标分组流相对应的已消除回声分组流。其中，所述替换包包括但不限于噪声包（例如，包含一定类型的噪声的分组，例如白噪声、舒适噪声等）、无声包（例如，空分组）、在目标分组流中最后缓存的八分之一速率分组等，及其混合。

在此，所述消除装置3也可以将已消除回声分组流作为其所对应的同一广播流的参考分组流，在此，所述参考分组流中不包含回声。

在此，由于远端回声与邻接回声都是发生在原始分组之后的相似分组，因此采用上述方法可以识别所述新分组是否与历史分组相似，从而可以消除远端回声与邻接回声。

优选地，所述消除装置3可以根据所述广播流中所对应的参考分组流，结合所述广播流中所对应的目标分组流中的每个分组所对应的源地址信息，对所述目标分组流进行回声消除，以获得与所述目标分组流相对应的已消除回声分组流。

具体地，所述消除装置3根据所述广播流，将所述广播流中的一个或多个新分组作为所述广播流所对应的目标分组流，其中，所述新分组中可能包含回声；并将在同一个所述广播流中的一个或多个历史分组作为与所述广播流相对应的参考分组流，其中，所述历史分组为在时序上早于所述新分组的分组，特殊情况下，所述历史分组中可能包含回声。

然后，所述消除装置3根据所述目标分组流中的每个分组的包头信息中的源地址信息，确定与所述分组相对应的通话端；所述消除装置3根据与所述通话端相交互，或者与其它第三方设备相交互，以确定所述通话端中是否配备分组声学回声消除（PAEC）装置，若所述通话端中配备了PAEC装置，则说明来自该通话端的分组中的回声在该分组发送至所述回声消除设备前已经被消除，从而所述消除装置3不再对与该通话端对应的分组进行回声检测，以省略来自该通话终端的新分组的对比计算，降低计算量，提高分组声学回声消除的性能。在此，本领域技术人员应能理解，所述消除装置3可以不对参考分组流中的分组的源地址信息进行判断，这是由于远端回声或邻接回声是来自其它通信端，而非来自原始分组对应的通信端。

反之，若所述目标分组流中的分组所对应的通话端中没有配备分组声学回声消除（PAEC）装置，则所述消除装置3将所述目标分组流中的分组与所对应的参考分组流进行对比，以检测所述目标分组流的分组中是否包含回声包；若包含回声包，则所述消除装置3通过删除所述回声包或者利用替换包对所检测出的回声包进行替换等方式对所述目标分组流进行回声消除。

在此，本领域技术人员应能理解，所述消除装置3中的分组声学回声消除操作与所述图8中的所述消除装置3中的分组声学回声消除操作相同或相似，故在此不再赘述，并通过引用的方式包含于此。

优选地，所述回声消除设备还包括参数确定装置（未示出），其中，所述参数确定装置根据所述多方通话的呼叫参数，结合所述目标分组流与参考分组流的分组语音长度，确定存储所述目标分组流与所述参考分组流的存储空间参数信息。

具体地，所述存储空间包括但不限于缓冲区或其它可进行高速读写的装置，所述存储空间的参数信息可以根据所述多方通话的呼叫参数（如会议各个通话端的回声延迟信息）以及所述目标分组流与参考分组流的分组语音长度（如每个分组时长为20毫秒）等信息进行确定。在此，所述存储空间的参数信息包括但不限于存储空间的大小信息（如缓冲区大小）和/或所述参考分组流的窗口大小信息。

在此，对于所述广播流的存储空间（以参考分组流的缓冲区空间为例）的设计，主要包括三种参量：

第一：delay_th，即所述会议设施能够消除的最大回声延迟，这通常取决于工程需求，但是其应当大于大多数的回声延迟。然后，结合所述目标分组流与参考分组流的分组语音长度，如每个分组有20ms声音，所述参考分组流的缓冲区的大小就能够被确定：缓冲区大小=delay_th/20+M+1；其中，M为用于对比的目标分组集合或参考分组集合中目标分组或参考分组的数量。

第二：delay_min，即一个音频会议的所有通话端的最小回声延迟。

第三：delay_max，即一个音频会议的所有通话端的最大回声延迟。

delay_min与delay_max可按照会议呼叫参数而动态调整，所述会议呼叫参数可从统计数据中提取。delay_min可以用于衡量目标分组窗口和参考分组窗口的间隔，即所述参考分组窗口的偏移。根据delay_min和delay_max，参考分组窗口大小就可以被估算，即：参考分组窗口大小=delay_max/20+M+1-delay_min/20。

在此，所述delay_max与delay_min，即所述参数确定装置根据会议各个通话端的回声延迟信息所计算的该多方通话的最大延迟与最小延迟，可以用于确定所述参考分组窗口大小，以调整所述参考流的大小，以避免不必要的比较，提高回声检测效率。

广播装置4将所述已消除回声分组流广播至所述多方通话中的通话端。

具体地，所述广播装置4将所述消除装置3所获取的已消除回声分组流发送至所述多方通话中的一个或多个通话端；其中，可以将所述已消除回声分组流广播至所述多方通话中的全部通话端，也可以将所述已消除回声分组流广播至所述多方通话中的部分通话端。

优选地，所述广播装置4可以根据所述目标分组流中每个分组所对应的源地址信息，确定与所述已消除回声分组流相对应的所述多方通话中的一个或多个目标通话端；将所述已消除回声分组流广播至所述一个或多个目标通话端。

具体地，所述广播装置4根据所述已消除回声分组流中的每个分组的包头信息中的源地址信息，将所述多方通话中除了与所述源地址信息相对应的通话端外的一个或多个通话端确定为所述目标通话端；最后，所述广播装置4将所述已消除回声分组流广播至所述一个或多个目标通话端。

在此，所述广播装置4通过根据分组的源地址信息，判断与所述分组相对应的通话端，以避免将所述分组发送至与其相对应的通话端，即，若所述分组的源地址信息对应通话端A，则在广播时则不再将该分组发送至A，从而实现了智能广播，避免回传广播，以避免本地回声。

例如，图7示出根据本发明一个方面的一种基于服务器的与会议参与者数量无关的多方分组声学回声消除示意图。

具体地，各通话端发送过来的目标流通过选择形成单一广播流，单一广播流同时包含目标分组（来自各通话端的经过选择的新的分组）和参考分组（根据图7，为无回声分组的历史分组，这是由于回声分组已经在之前的AEC过程中被消除了），并且将目标分组与参考分组按照PAEC（Packet Acoustic Echo Cancellation）算法进行对比，以移除回声分组，然后被广播至会议参与方；从而将用于检测分组领域回声的通用方法，变换为对比在广播流中的新分组与历史分组，以有效的消除对于基于分组的音频会议的分组回声，并且无关会议通话端的数量，对于一个具有N个通话端的会议，仅需一个PAEC资源（如信道），节省了N-1个信道。

图9示出根据本发明一个优选实施例的一种用于分组声学回声消除的回声消除设备示意图；其中，所述回声消除设备包括获取装置1’、选择装置2’、消除装置3’、广播装置4’，所述消除装置3包括更新单元31’、消除单元32’。具体地，获取装置1’获取待进行分组声学回声消除的多方通话中一个或多个源语音分组流，其中，每个源语音分组流源自所述多方通话中的一个通话端；选择装置2’从所述一个或多个源语音分组流中选择分组，以获得对应于所述多方通话的广播流；更新单元31’根据所述广播流，更新对应于所述多方通话的目标分组流与参考分组流；消除单元32’根据所述参考分组流，对所述目标分组流进行回声消除，以获得与所述目标分组流相对应的已消除回声分组流；广播装置4’将所述已消除回声分组流广播至所述多方通话中的通话端。

其中，所述回声消除设备的获取装置1’、选择装置2’、广播装置4’与图8所示对应装置相同或基本相同，故此处不再赘述，并通过引用的方式包含于此。

上述各装置之间是持续不断工作的，在此，本领域技术人员应理解“持续”是指上述各装置分别实时地，或者按照设定的或实时调整的工作模式要求，进行多方通话中一个或多个源语音分组流的获取、广播流的获取、目标分组流与参考分组流的更新、已消除回声分组流的获取、已消除回声分组流的广播等，直至所述回声消除设备停止获取待进行分组声学回声消除的多方通话中一个或多个源语音分组流。

更新单元31’根据所述广播流，更新对应于所述多方通话的目标分组流与参考分组流。

具体地，所述更新单元31’根据所述广播流，将所述广播流中的一个或多个新分组作为所述广播流所对应的目标分组流，其中，所述新分组中可能包含回声；并将在同一个所述广播流中的一个或多个历史分组作为与所述广播流相对应的参考分组流，其中，所述历史分组为在时序上早于所述新分组的分组，所述历史分组中可能包含回声。

或者，所述更新单元31’也可以根据所述广播流，将已消除回声后的同一广播流（即在时序上早于当前新分组的已消除回声分组流）作为与所述目标分组流相对应的参考分组流，在此，所述参考分组流中不包含回声。

优选地，所述更新单元31’可以根据所述广播流，更新对应于所述多方通话的目标分组流；根据所述广播流以及所述目标分组流，确定与所述目标分组流相对应的参考分组流。

具体地，更新单元31’根据所述广播流，将所述广播流中的一个或多个新分组作为所述广播流所对应的目标分组流，其中，所述新分组中可能包含回声；并根据所述广播流及目标分组流，将与所述目标分组流所对应的、同一个所述广播流中的一个或多个历史分组作为与所述广播流相对应的参考分组流，其中，所述历史分组为在时序上早于所述新分组的分组，所述历史分组中可能包含回声。

优选地，所述回声消除设备还包括参考更新装置（未示出），其中，所述参考更新装置根据所述已消除回声分组流，更新所述参考分组流。

具体地，所述参考更新装置通过与所述消除装置3’相交互，以获取所述已消除回声分组流，然后根据所述已消除回声分组流，对所述参考分组流进行更新；从而利用所述已消除回声分组流来作为与所述目标分组流进行比较的参考分组流，具有更好的参考效果，从而进一步提高了PAEC的准确率。

消除单元32’根据所述参考分组流，对所述目标分组流进行回声消除，以获得与所述目标分组流相对应的已消除回声分组流。

具体地，所述消除单元32’根据所述参考分组流，通过将所述参考分组流与所述目标分组流进行对比，根据例如PAEC算法进行计算，从而对所述目标分组流进行回声消除，以获得与所述目标分组流相对应的已消除回声分组流。

在此，本领域技术人员应能理解，所述消除单元32’中的分组声学回声消除操作与所述图8中的所述消除装置3中的分组声学回声消除操作相同或相似，故在此不再赘述，并通过引用的方式包含于此。

图12示出根据本发明的一个方面的一种用于进行分组声学回声消除的分组对比示意图。

具体地，当广播流中的新分组（可能包含声学回声）被加入至所述广播流中时，可以将所述新分组作为目标分组，与作为参考分组流的历史分组进行比较，以检测声学回声。如图12所示，目标分组流的分组集合（数据包j至数据包j+M，即新分组）分别与参考分组流中对应的集合1（数据包q至数据包q+M，即历史分组）、集合2（数据包q+1至数据包q+M+1，即历史分组）、…、集合Q（数据包q+Q-1至数据包q+Q+M-1，即历史分组）进行对比，以确定所述目标分组流中是否具有回声包。

公式1至公式3示出了用于进行分组声学回声消除的PAEC算法。

$E_j^B=[e_{j,q}^B,e_{j,q+1}^B,...,e_{j,q+Q-1}^B]$    （公式1）

$e_{j,q}^B=\sqrt{\underset{m=0}{\overset{M}{\mathrm{\Σ}}}\underset{\∂=1}{\overset{P}{\mathrm{\Σ}}}{(l_{j+m,\∂}^B-l_{q+m,\∂}^B)}^2}$    （公式2）

$\min e_{j,q}^B\≤e_{\mathrm{th}}$    （公式3）

具体地，公式1为距离向量的计算公式；公式2为每个新分组与历史分组间的距离值的计算公式；“M+1”是新分组的窗口大小，“M+Q”是对应的历史分组的窗口大小。表示从新窗口(j,j+1,…,j+M)到历史窗口(q,q+1,…,q+M)的M+1个分组的对比结果。(q=q,q+1,q+Q-1)的最小值将会与相似性阈值e_TH相比较，从而判定是否存在回声。若公式2中的计算结果满足公式3，说明目标分组流与参考分组流中存在相似性，因此目标分组流中包含回声。

在此，P为LSP的值（Line Spectral Pair,线谱对）。

从而，本发明实现了一种分组声学回声消除方法，该方法与现有技术相比具有如下优点：

-当前技术需要为每个参与会议的通信端缓冲参考分组流，N方音频会议需要N套参考缓冲，从而当目标分组流中出现新分组（可能包含回声）时，能将其与所缓存的参考分组对比，从而检测声学回声；而本发明仅需缓冲一个（广播）流以及进行PAEC对比，不论参与会议的通信端N的数量多少，从而大量地减轻用于PAEC的缓冲区消耗以及相对应的维护开销。

-当前技术需要为每个参与会议的通信端分配PAEC信道，N方音频会议则需要N个PAEC信道；而本发明对于每个多方通话仅需要一个PAEC信道，不论N的数量多少，从而大量的减轻用于PAEC的信道分配以及相对应的信令开销。

-当参与会议的通信端的数量超过阈值时，在某些算法下，当前技术通常忽略了某些通信参与方，然而降低了服务质量；而通过采用本发明，会议设施的PAEC性能能够获得很高的提升，其性能与参与方数量无关。

图10示出根据本发明另一个方面的一种用于分组声学回声消除的方法流程图。具体地，在步骤s1中，所述回声消除设备获取待进行分组声学回声消除的多方通话中一个或多个源语音分组流，其中，每个源语音分组流源自所述多方通话中的一个通话端；在步骤s2中，所述回声消除设备从所述一个或多个源语音分组流中选择分组，以获得对应于所述多方通话的广播流；在步骤s3中，所述回声消除设备根据所述广播流所对应的参考分组流，对所述广播流所对应的目标分组流进行回声消除，以获得与所述目标分组流相对应的已消除回声分组流；在步骤s4中，所述回声消除设备将所述已消除回声分组流广播至所述多方通话中的通话端。

上述各步骤之间是持续不断工作的，在此，本领域技术人员应理解“持续”是指上述各步骤分别实时地，或者按照设定的或实时调整的工作模式要求，进行多方通话中一个或多个源语音分组流的获取、广播流的获取、已消除回声分组流的获取、已消除回声分组流的广播等，直至所述回声消除设备停止获取待进行分组声学回声消除的多方通话中一个或多个源语音分组流。

在步骤s1中，所述回声消除设备获取待进行分组声学回声消除的多方通话中一个或多个源语音分组流，其中，每个源语音分组流源自所述多方通话中的一个通话端。

具体地，在步骤s1中，所述回声消除设备与多方通话（如同一会议）中的一个或多个通话端相交互，以获取由所述通话端发送至广播端的待进行分组声学回声消除的源语音分组流；其中，所述源语音分组流中包含一个或多个分组（packet），且所述源语音分组流的分组中可能包含回声包。由于每个语音分组流源自所述多方通话中的一个通话端，因此在步骤s1中，所述回声消除设备可以获取所述多方通话中一个或多个源语音分组流；例如，若所述多方通话中包含通话端A、通话端B、通话端C，则在步骤s1中，所述回声消除设备可以获取由所述通话端A发送至广播端的源语音分组流，由所述通话端B送至广播端的源语音分组流，以及由所述通话端C送至广播端的源语音分组流。

在步骤s2中，所述回声消除设备从所述一个或多个源语音分组流中选择分组，以获得对应于所述多方通话的广播流。

具体地，在步骤s2中，所述回声消除设备根据所述源语音分组流中分组的语音强度信息，或是根据所述源语音分组流中分组的连续性信息（例如，之前说话的人有更高的优先级被继续选择），从所述一个或多个源语音分组流中选择分组，根据所选择的多个分组信息，生成对应于所述多方通话的广播流，以保证不会发生混音。

这是由于在基于分组的音频会议中，当超过一个参与方同时说话时，将他们的声音混音广播不会有助于提高所述语音质量，并且混音操作复杂，包括解码分组、合成分组、编码分组。相反地，从谈话参与方之一选择某个时间段的语音，更为简单有效。

在步骤s3中，所述回声消除设备根据所述广播流所对应的参考分组流，对所述广播流所对应的目标分组流进行回声消除，以获得与所述目标分组流相对应的已消除回声分组流。

具体地，在步骤s3中，所述回声消除设备根据所述广播流，将所述广播流中的一个或多个新分组作为所述广播流所对应的目标分组流，其中，所述新分组中可能包含回声；并将在同一个所述广播流中的一个或多个历史分组作为与所述广播流相对应的参考分组流，其中，所述历史分组为在时序上早于所述新分组的分组，特殊情况下，所述历史分组中可能包含回声。

在步骤s3中，所述回声消除设备在缓冲区或其它可进行高速读写的装置中，将所述参考分组流中的一个或多个分组与所述目标分组流中的一个或多个分组进行对比，例如基于分组声学回声消除算法（PAEC算法）来判断两者是否相似，从而检测所述目标分组流中是否包含回声包，若存在相似的一个或多个分组，则所述目标分组流中包含回声包；其中，所述可进行高速读写的装置能够保留较长一段时间的历史语音。

若包含回声包，则在步骤s3中，所述回声消除设备通过删除所述回声包或者利用替换包对所检测出的回声包进行替换等方式对所述目标分组流进行回声消除。具体地，例如，利用替换包对所检测出的回声包进行替换，以获得与所述目标分组流相对应的已消除回声分组流。其中，所述替换包包括但不限于噪声包（例如，包含一定类型的噪声的分组，例如白噪声、舒适噪声等）、无声包（例如，空分组）、在目标分组流中最后缓存的八分之一速率分组等，及其混合。

在此，在步骤s3中，所述回声消除设备也可以将已消除回声分组流作为其所对应的同一广播流的参考分组流，在此，所述参考分组流中不包含回声。

在此，由于远端回声与邻接回声都是发生在原始分组之后的相似分组，因此采用上述方法可以识别所述新分组是否与历史分组相似，从而可以消除远端回声与邻接回声。

优选地，在步骤s3中，所述回声消除设备可以根据所述广播流中所对应的参考分组流，结合所述广播流中所对应的目标分组流中的每个分组所对应的源地址信息，对所述目标分组流进行回声消除，以获得与所述目标分组流相对应的已消除回声分组流。

具体地，在步骤s3中，所述回声消除设备根据所述广播流，将所述广播流中的一个或多个新分组作为所述广播流所对应的目标分组流，其中，所述新分组中可能包含回声；并将在同一个所述广播流中的一个或多个历史分组作为与所述广播流相对应的参考分组流，其中，所述历史分组为在时序上早于所述新分组的分组，特殊情况下，所述历史分组中可能包含回声。

然后，在步骤s3中，所述回声消除设备根据所述目标分组流中的每个分组的包头信息中的源地址信息，确定与所述分组相对应的通话端；在步骤s3中，所述回声消除设备根据与所述通话端相交互，或者与其它第三方设备相交互，以确定所述通话端中是否配备分组声学回声消除（PAEC）装置，若所述通话端中配备了PAEC装置，则说明来自该通话端的分组中的回声在该分组发送至所述回声消除设备前已经被消除，从而在步骤s3中，所述回声消除设备不再对与该通话端对应的分组进行回声检测，以省略来自该通话终端的新分组的对比计算，降低计算量，提高分组声学回声消除的性能。在此，本领域技术人员应能理解，在步骤s3中，所述回声消除设备可以不对参考分组流中的分组的源地址信息进行判断，这是由于远端回声或邻接回声是来自其它通信端，而非来自原始分组对应的通信端。

反之，若所述目标分组流中的分组所对应的通话端中没有配备分组声学回声消除（PAEC）装置，则在步骤s3中，所述回声消除设备将所述目标分组流中的分组与所对应的参考分组流进行对比，以检测所述目标分组流的分组中是否包含回声包；若包含回声包，则在步骤s3中，所述回声消除设备通过删除所述回声包或者利用替换包对所检测出的回声包进行替换等方式对所述目标分组流进行回声消除。

在此，本领域技术人员应能理解，在步骤s3中，所述回声消除设备中的分组声学回声消除操作与所述图10中的步骤s3中，所述回声消除设备中的分组声学回声消除操作相同或相似，故在此不再赘述，并通过引用的方式包含于此。

优选地，所述方法还包括步骤s5（未示出），其中，在步骤s5中，所述回声消除设备根据所述多方通话的呼叫参数，结合所述目标分组流与参考分组流的分组语音长度，确定存储所述目标分组流与所述参考分组流的存储空间参数信息。

具体地，所述存储空间包括但不限于缓冲区或其它可进行高速读写的装置，所述存储空间的参数信息可以根据所述多方通话的呼叫参数（如会议各个通话端的回声延迟信息）以及所述目标分组流与参考分组流的分组语音长度（如每个分组时长为20毫秒）等信息进行确定。在此，所述存储空间的参数信息包括但不限于存储空间的大小信息（如缓冲区大小）和/或所述参考分组流的窗口大小信息。

在此，对于所述广播流的存储空间（以参考分组流的缓冲区空间为例）的设计，主要包括三种参量：

第一：delay_th，即所述会议设施能够消除的最大回声延迟，这通常取决于工程需求，但是其应当大于大多数的回声延迟。然后，结合所述目标分组流与参考分组流的分组语音长度，如每个分组有20ms声音，所述参考分组流的缓冲区的大小就能够被确定：缓冲区大小=delay_th/20+M+1；其中，M为用于对比的目标分组集合或参考分组集合中目标分组或参考分组的数量。

第二：delay_min，即一个音频会议的所有通话端的最小回声延迟。

第三：delay_max，即一个音频会议的所有通话端的最大回声延迟。

delay_min与delay_max可按照会议呼叫参数而动态调整，所述会议呼叫参数可从统计数据中提取。delay_min可以用于衡量目标分组窗口和参考分组窗口的间隔，即所述参考分组窗口的偏移。根据delay_min和delay_max，参考分组窗口大小就可以被估算，即：参考分组窗口大小=delay_max/20+M+1-delay_min/20。

在此，所述delay_max与delay_min，即在步骤s5中，所述回声消除设备根据会议各个通话端的回声延迟信息所计算的该多方通话的最大延迟与最小延迟，可以用于确定所述参考分组窗口大小，以调整所述参考流的大小，以避免不必要的比较，提高回声检测效率。

在步骤s4中，所述回声消除设备将所述已消除回声分组流广播至所述多方通话中的通话端。

具体地，在步骤s4中，所述回声消除设备将所述步骤s3所获取的已消除回声分组流发送至所述多方通话中的一个或多个通话端；其中，可以将所述已消除回声分组流广播至所述多方通话中的全部通话端，也可以将所述已消除回声分组流广播至所述多方通话中的部分通话端。

优选地，在步骤s4中，所述回声消除设备可以根据所述目标分组流中每个分组所对应的源地址信息，确定与所述已消除回声分组流相对应的所述多方通话中的一个或多个目标通话端；将所述已消除回声分组流广播至所述一个或多个目标通话端。

具体地，在步骤s4中，所述回声消除设备根据所述已消除回声分组流中的每个分组的包头信息中的源地址信息，将所述多方通话中除了与所述源地址信息相对应的通话端外的一个或多个通话端确定为所述目标通话端；最后，在步骤s4中，所述回声消除设备将所述已消除回声分组流广播至所述一个或多个目标通话端。

在此，在步骤s4中，所述回声消除设备通过根据分组的源地址信息，判断与所述分组相对应的通话端，以避免将所述分组发送至与其相对应的通话端，即，若所述分组的源地址信息对应通话端A，则在广播时则不再将该分组发送至A，从而实现了智能广播，避免回传广播，以避免本地回声。

图11示出根据本发明一个优选实施例的一种用于分组声学回声消除的方法流程图。具体地，在步骤s1’中，所述回声消除设备获取待进行分组声学回声消除的多方通话中一个或多个源语音分组流，其中，每个源语音分组流源自所述多方通话中的一个通话端；在步骤s2’中，所述回声消除设备从所述一个或多个源语音分组流中选择分组，以获得对应于所述多方通话的广播流；在步骤s31’中，所述回声消除设备根据所述广播流，更新对应于所述多方通话的目标分组流与参考分组流；在步骤s32’中，所述回声消除设备根据所述参考分组流，对所述目标分组流进行回声消除，以获得与所述目标分组流相对应的已消除回声分组流；在步骤s4’中，所述回声消除设备将所述已消除回声分组流广播至所述多方通话中的通话端。

其中，所述方法的步骤s1’、步骤s2’、步骤s4’与图10所示对应步骤相同或基本相同，故此处不再赘述，并通过引用的方式包含于此。

上述各步骤之间是持续不断工作的，在此，本领域技术人员应理解“持续”是指上述各步骤分别实时地，或者按照设定的或实时调整的工作模式要求，进行多方通话中一个或多个源语音分组流的获取、广播流的获取、目标分组流与参考分组流的更新、已消除回声分组流的获取、已消除回声分组流的广播等，直至所述回声消除设备停止获取待进行分组声学回声消除的多方通话中一个或多个源语音分组流。

在步骤s31’中，所述回声消除设备根据所述广播流，更新对应于所述多方通话的目标分组流与参考分组流。

具体地，在步骤s31’中，所述回声消除设备根据所述广播流，将所述广播流中的一个或多个新分组作为所述广播流所对应的目标分组流，其中，所述新分组中可能包含回声；并将在同一个所述广播流中的一个或多个历史分组作为与所述广播流相对应的参考分组流，其中，所述历史分组为在时序上早于所述新分组的分组，所述历史分组中可能包含回声。

或者，在步骤s31’中，所述回声消除设备也可以根据所述广播流，将已消除回声后的同一广播流（即在时序上早于当前新分组的已消除回声分组流）作为与所述目标分组流相对应的参考分组流，在此，所述参考分组流中不包含回声。

优选地，在步骤s31’中，所述回声消除设备可以根据所述广播流，更新对应于所述多方通话的目标分组流；根据所述广播流以及所述目标分组流，确定与所述目标分组流相对应的参考分组流。

具体地，在步骤s31’中，所述回声消除设备根据所述广播流，将所述广播流中的一个或多个新分组作为所述广播流所对应的目标分组流，其中，所述新分组中可能包含回声；并根据所述广播流及目标分组流，将与所述目标分组流所对应的、同一个所述广播流中的一个或多个历史分组作为与所述广播流相对应的参考分组流，其中，所述历史分组为在时序上早于所述新分组的分组，所述历史分组中可能包含回声。

优选地，所述方法还包括步骤s6’（未示出），其中，在步骤s6’中，所述回声消除设备根据所述已消除回声分组流，更新所述参考分组流。

具体地，在步骤s6’中，所述回声消除设备通过与所述步骤s3’相交互，以获取所述已消除回声分组流，然后根据所述已消除回声分组流，对所述参考分组流进行更新；从而利用所述已消除回声分组流来作为与所述目标分组流进行比较的参考分组流，具有更好的参考效果，从而进一步提高了PAEC的准确率。

在步骤s32’中，所述回声消除设备根据所述参考分组流，对所述目标分组流进行回声消除，以获得与所述目标分组流相对应的已消除回声分组流。

具体地，在步骤s32’中，所述回声消除设备根据所述参考分组流，通过将所述参考分组流与所述目标分组流进行对比，根据例如PAEC算法进行计算，从而对所述目标分组流进行回声消除，以获得与所述目标分组流相对应的已消除回声分组流。

在此，本领域技术人员应能理解，在步骤s32’中，所述回声消除设备中的分组声学回声消除操作与所述图10中的所述步骤s3中的分组声学回声消除操作相同或相似，故在此不再赘述，并通过引用的方式包含于此。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其它的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其它单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (14)

1.一种分组声学回声消除的方法，其中，该方法包括以下步骤：

a获取待进行分组声学回声消除的多方通话中一个或多个源语音分组流，其中，每个源语音分组流源自所述多方通话中的一个通话端；

b从所述一个或多个源语音分组流中选择分组，以获得对应于所述多方通话的广播流；

c根据所述广播流所对应的参考分组流，对所述广播流所对应的目标分组流进行回声消除，以获得与所述目标分组流相对应的已消除回声分组流；

d将所述已消除回声分组流广播至所述多方通话中的通话端。

2.根据权利要求1所述的方法，其中，该方法还包括：

-根据所述多方通话的呼叫参数，结合所述目标分组流与参考分组流的分组语音长度，确定存储所述目标分组流与所述参考分组流的存储空间参数信息。

3.根据权利要求1或2所述的方法，其中，所述步骤c包括：

c1根据所述广播流，更新对应于所述多方通话的目标分组流与参考分组流；

-根据所述参考分组流，对所述目标分组流进行回声消除，以获得与所述目标分组流相对应的已消除回声分组流。

4.根据权利要求3所述的方法，其中，所述步骤c1包括：

-根据所述广播流，更新对应于所述多方通话的目标分组流；

-根据所述广播流以及所述目标分组流，确定与所述目标分组流相对应的参考分组流。

5.根据权利要求1至4中任一项所述的方法，其中，该方法还包括：

-根据所述已消除回声分组流，更新所述参考分组流。

6.根据权利要求1至5中任一项所述的方法，其中，所述步骤c包括：

-根据所述广播流中所对应的参考分组流，结合所述广播流中所对应的目标分组流中的每个分组所对应的源地址信息，对所述目标分组流进行回声消除，以获得与所述目标分组流相对应的已消除回声分组流。

7.根据权利要求1至6中任一项所述的方法，其中，所述步骤d包括：

-根据所述目标分组流中每个分组所对应的源地址信息，确定与所述已消除回声分组流相对应的所述多方通话中的一个或多个目标通话端；

-将所述已消除回声分组流广播至所述一个或多个目标通话端。

8.一种用于分组声学回声消除的回声消除设备，其中，该设备包括：

获取装置，用于获取待进行分组声学回声消除的多方通话中一个或多个源语音分组流，其中，每个源语音分组流源自所述多方通话中的一个通话端；

选择装置，用于从所述一个或多个源语音分组流中选择分组，以获得对应于所述多方通话的广播流；

消除装置，用于根据所述广播流所对应的参考分组流，对所述广播流所对应的目标分组流进行回声消除，以获得与所述目标分组流相对应的已消除回声分组流；

广播装置，用于将所述已消除回声分组流广播至所述多方通话中的通话端。

9.根据权利要求8所述的回声消除设备，其中，该设备还包括：

参数确定装置，用于根据所述多方通话的呼叫参数，结合所述目标分组流与参考分组流的分组语音长度，确定存储所述目标分组流与所述参考分组流的存储空间参数信息。

10.根据权利要求8或9所述的回声消除设备，其中，所述消除装置包括：

更新单元，用于根据所述广播流，更新对应于所述多方通话的目标分组流与参考分组流；

消除单元，用于根据所述参考分组流，对所述目标分组流进行回声消除，以获得与所述目标分组流相对应的已消除回声分组流。

11.根据权利要求10所述的回声消除设备，其中，所述更新单元用于：

-根据所述广播流，更新对应于所述多方通话的目标分组流；

-根据所述广播流以及所述目标分组流，确定与所述目标分组流相对应的参考分组流。

12.根据权利要求8至11中任一项所述的回声消除设备，其中，该设备还包括：

参考更新装置，用于根据所述已消除回声分组流，更新所述参考分组流。

13.根据权利要求8至12中任一项所述的回声消除设备，其中，所述消除装置用于：

-根据所述广播流中所对应的参考分组流，结合所述广播流中所对应的目标分组流中的每个分组所对应的源地址信息，对所述目标分组流进行回声消除，以获得与所述目标分组流相对应的已消除回声分组流。

14.根据权利要求8至13中任一项所述的回声消除设备，其中，所述广播装置用于：

-根据所述目标分组流中每个分组所对应的源地址信息，确定与所述已消除回声分组流相对应的所述多方通话中的一个或多个目标通话端；

-将所述已消除回声分组流广播至所述一个或多个目标通话端。