CN101809998B - 用于多显示切换视频会议系统的音频方向性控制 - Google Patents

Abstract

在一个实施例中，一种方法包括设置从遥现会议的多个远程参与者接收到的每个音频源的目标值，增益系数阵列馈送给与扬声器相关联的混合器，该扬声器与显示器相关联。然后，为每个音频源设置增益递增值，增益递增值等于目标值与当前增益系数之间的差值除以N，其中，N是表示递增次数的大于1的整数。然后，对于每个音频源，对于N次迭代中的每次迭代，将增益递增值添加到当前增益系数以产生被载入混合器的新的当前增益系数，使得在N次迭代之后，新的当前增益系数等于目标值。要强调的是，本摘要是被提供用于符合需要摘要的规则，摘要使得搜索者或其它读者能够快速地确定技术公开的主题。

Description

用于多显示切换视频会议系统的音频方向性控制

技术领域

本发明一般涉及数据网络和会议系统。

背景技术

多显示、切换视频(“遥现(telepresence)”)会议系统是这样的一种系统：组件和端点设备通过网络来产生现场的面对面会议体验，该网络允许用户以看起来就像所有远程参与者出现在同一室中的方式来交互并合作。现有的遥现解决方案例如将真实尺寸、真实的高清晰视频图像、CD质量的音频、特别设计的环境以及交互式元件相组合，来产生来自远程位置的参与者就像“亲自”在虚拟桌旁的感觉。一些市面上出售的遥现系统被设计用于较小群组的会议以及一对一的交谈，而其它遥现系统被设计用于较大群组的会议。无论会议的大小如何，端点通常结合提供呼叫调度、建立的管理器软件应用来工作。

遥现会议系统的目标是允许参与者集中于会议而非技术，从而自然地有效地进行通信。实现此的一种方式是使音频方向跟踪视频显示，例如使扬声器邻近各个视频显示器。换言之，该想法是使得从扬声器出来的发言参与者的音频邻近于参与者的图像被显示的地方。然而，当由新的发言参与者触发了对显示器的改变时，会出现问题。在这些情况中，由于需要防止视频图像因简短讲话频发而来回跳动，因此，来自新的发言参与者的音频通常先于视频切换操作一两秒。由于视频切换系统尚未开始在显示器上呈现视频，因此，常常在错误的地方(即，扬声器位置)呈现音频。当视频最终被显示时，音频可能突然从一个扬声器跳到另一扬声器，从而导致了可能使参与者迷失方向或扰乱虚拟桌体验的分散注意力的人为现象。

附图说明

从下面的详细描述和附图将更全面地了解本发明，然而，附图不应当被认为将本发明局限于所示出的具体实施例，而是仅用于说明和理解。

图1图示出了示例多点遥现会议系统。

图2图示出了用于控制音频方向的示例装置。

图3图示出了用于控制音频方向的另一示例装置。

图4图示出了示例参与者混合器有限状态机。

图5图示出了用于图2的装置中的平滑音频转变的示例方法。

图6图示出了示例节点或网络设备的基本配置。

具体实施方式

在下面的描述中，阐述了诸如设备类型、系统配置、控制方法等具体细节，以提供对本发明的透彻理解。然而，相关领域的普通技术人员将会理解，可能不需要这些具体细节来实现所描述的实施例。

计算机网络是用于在诸如中间节点和端节点(也称为端点)之类的节点之间传送数据的互连子网在地理上的分布式集合。局域网(LAN)是这种子网的示例；可以通过诸如路由器、桥接器或交换机之类的中间网络节点进一步互连多个LAN来扩大计算机网络的有效“大小”并且增加通信节点的数目。设备或节点的示例包括服务器、混合器、控制单元以及个人计算机。节点通常通过根据预定义协议交换数据的离散帧或分组来进行通信。

在本申请的上下文中，遥现会议系统是这样的系统，该系统包括被集成的软件和/或硬件(包括固件)组件以及端点设备以使得远程位置的会议参与者产生“亲临”的感觉。遥现会议可以包括通过多种网络连接和协议类型的点到点或点到多点呼叫。端点本身包括：具有可以包括音频/视频器械(例如，扬声器、相机、视频显示器/显示屏、麦克风等)的交互式元件的特别设计的环境、参与者在虚拟桌周围的照明和座位，以及辅助一个或多个网络上的通信信道的调度、建立和维护的软件元件/应用。将参与者关联到遥现会议的端点设备还可以包括仅音频的设备(例如数字电话机)，或者能够发送、接收媒体分组或以其它方式参与遥现会议系统的分组交换的任何其它设备、组件、元件或对象。

概述

在一个实施例中，遥现会议系统包括在会议室中围绕虚拟桌布置的多个扬声器。每个扬声器与相对应的视频显示器邻近。(其它实施例可以具有比显示器多或少的扬声器。)每个扬声器还被附接到相对应的音频混合器。所有音频源(来自远程位置处的参与者)被输入混合器中。然而，每个混合器维持针对每个音频源的增益系数，这产生了跨越所有混合器的音频“增益向量”或阵列。该增益向量不被用来确定哪些源是目前最响的扬声器，而被用来在混合之前预缩放音频。注意，通常由系统中对存在新的发言参与者的指示来触发显示器的改变。

在任何给定的时间，音频源被分类为处于四个状态中的一个状态中。第一状态是安静/背景噪声，其中，通常抑制音频源被混合，然而，在某些实施例中，其可以作为无方向音频而被混合。第二状态与检测到的足够大(在预定阈值水平之上)但尚未触发视频切换操作的语音相关联。取决于参与者讲话的长度或持续时间而可能或可能不会引起视频源改变的该讲话无方向性地被混合到会议中。例如，作出诸如“是”或“否”之类的简短的确认/否认语句的参与者将从第一状态转变到第二状态。注意，第二状态是瞬态。音频源将在一两秒内转变到第一状态(如果参与者停止讲话)或者当参与者持续讲话超过了预定转变触发阈值时将转变到第四状态(下面将描述)。

第三状态用于无视频源与其相关联的仅音频源。这些源无方向性地被混合。

第四状态用于与当前显示的视频源相关联的音频源。来自这些源的音频被定向，以使得语音从与示出了讲话参与者的视频显示屏相关联的扬声器出现。注意，在此状态中，音频在当前是否是突发的简短说话并不重要，只要保持显示参与者的关联视频图像即可。

在一个实施例中，系统包括针对四个状态中的每个状态建立跨越多个混合器的增益控制向量，以及这些向量在状态转变期间如何改变的方法。未被显示的讲话者无方向地性出现。当某人开始在大会会议中说话时，他们就被显示给遥现会议中的其它参与者，并且它们的音频以逐渐的不分散注意力的方式被有方向地切换直到他们的讲话相对于与示出了他们的图像的显示器相关联的扬声器而被完全定向为止。

应当明白，在本公开中描述的遥现会议系统可以位于基于分组的通信网络上的任何地方，该网络将各个虚拟会议桌连接起来以产生共享体验。在一些实施例中，遥现会议系统可以包括执行这里描述的各种处理、视频切换和音频混合功能的单个服务器。在其它实施例中，遥现会议系统(包括声音处理/混合功能)可以被分布在多个服务器间，或者替代地，以跨越网络或者一个或多个遥现会议端点组件设备的分布式方式来实现。

图1图示出了示例多点遥现会议系统10，包括经由因特网协议(IP)网络11互连的三个会议地点(地点1-3)。地点1包括麦克风16a-16c，每个麦克风适当地位于桌上以捕获相对应组的参与者的语音。在此示例中，每组包括两个参与者(两把椅子)，麦克风16a位于组1A的正前方，麦克风16b位于组1B的正前方，并且麦克风16c位于组1C的正前方。其它实施例可以在每组中具有单个参与者或者多于两个参与者。

会议地点1还包括旨在分别捕获组1A-1C的参与者的图像的三个相机15a-15c，以及三个显示器17a-17c。一组扬声器14a-14c相对应地位于各个显示器17a-17c附近。在遥现会议期间，显示器17提供来自一个或多个远程位置(即地点2和3)的参与大会会议的活动的(或者先前活动的)讲话者的栩栩如生的图像。利用位于网络11上的视频切换器12来将参与者的流传输视频图像切换到各个地点。

也位于网络11上的音频混合器13产生表示各个所选参与者的混合语音(在某些实施例中，为背景噪声)的输出音频流。音频混合器13例如可以根据上述各种音频状态来混合音频传输以创建输出音频流。下面提供了对由特定会议地点的扬声器输出的音频源的有方向/无方向混合的其它示例。

将理解，除了视频切换器12和音频混合器13以外，诸如会议服务器或调度应用(未示出)之类的其它组件也可以位于网络11上来作为远程会议系统10的一部分。

地点2和3以与地点1类似的方向来配置，唯一不同的是所容纳的参与者组的数目。例如，地点2被示为包括位于坐了一组参与者2A的桌子的相对侧的与显示器22相邻的扬声器。麦克风24被放置以捕获参与者组2A的可听语音，相机23被放置以捕获该组中的每个参与者的视频图像。同样，地点3被配置用于两个参与者组(3A和3B)，其中，麦克风27a和27b以及相机26a和26b被布置以分别捕获组3A和3B中的参与者的语音和图像。作为容纳两个参与者组的会议地点，地点3还被配置有一对显示器28a和28b以及扬声器25a和25b。

在一个实施例中，每个扬声器被指派有或与具有一组增益控制的单独的音频混合器相关联，该组增益控制确定从该特定扬声器输出的音频源的方向。音频源的有方向/无方向混合由上述有限状态机来控制，并且下面将结合图4进一步讨论。在具体实现方式中，根据摆动算法(slewingalgorithm)来确定对特定音频源方向的改变，下面将结合图5描述摆动算法的一个示例。

图2图示出了根据上述实施例的用于控制音频方向的示例装置。该示例示出了从地点3的角度看的会议动态。左扬声器25a被示为由与左混合器增益控制阵列31a相关联的左扬声器混合器32a驱动，左混合器增益控制阵列31a从远程会议地点1A、1B、2A和1C接收各个音频源(例如，由各个麦克风16a、16b、24和16c捕获的)作为输入。由本示例呈现的场景如下。组1A中的参与者现在是大会会议中的活动讲话者(例如，最大声)，以使得由麦克风16a捕获的100％的音频信号由扬声器25a输出。同时，由相机15a捕获的讲话者的图像正显示在显示器28a上。由相机15b捕获的先前的或者最近的活动讲话者的图像正显示在显示器28b上。因此，由麦克风16b(与参与者组1B相关联)捕获的全部100％的音频信号由扬声器25b输出，扬声器25b通过馈给右扬声器混合器32b的右混合器增益控制阵列31来控制。

注意，由麦克风16a和16b捕获的音频信号中的0％被包括在分别发送给扬声器25b和25a的混合输出信号中。换言之，由扬声器25a产生的音频相对于其视频图像被显示在相邻显示器28a上的参与者组1A的语音而被定向。同时，由扬声器25a产生的音频相对于其视频图像被显示在相邻显示器28b上的参与者组1B的语音而被定向。还应注意，在此示例中，由麦克风24和16c捕获的语音或噪声是完全无方向的；即，来自这些源的音频信号被左右混合器增益控制阵列均等地加权(50％)，并且被均等地分开在两个扬声器25a和25b之间。遥现会议系统不对这些音频信号进行定向的原因可能是由于如下事实：麦克风24和16a中的一个或两者正捕获背景噪声或突发的简短说话(例如，少于某个预定时间段，例如在参与者说出“是”或“否”然后停止讲话的情况中)。换句话说，在本实施例中，不给于当前未被显示的任何参与者的音频感知到的方向。这种无方向性通过均等地加权相对应的增益控制阵列“桶”(“bucket”)(按非定向音频源的数目来均等地划分)来实现。

将理解，在系统未检测源自特定组的可感知声音的情况中，可将该组从无方向音频混合中排除。作为示例，在图2中，如果麦克风24未拾取到可测量的声音，则由扬声器25a和25b产生的声音中的非定向分量将仅包括来自参与者组2A的音频(50％)。还应当明白，所应用的增益因子取决于特定地点处的扬声器的数目。例如，具有三个扬声器的地点3将33.33％的增益控制应用于每个非定向音频源。换言之，对于配置有三个音频混合器/扬声器的地点，针对突发简短讲话或背景噪声的增益控制存储桶加权为33.33％。

图3图示出了用于控制音频方向的另一示例装置。除了不是混合非定向语音(或噪声)以用于由与显示器(28a和28b)相关联的扬声器(25a和25b)均等分布地输出，而是利用无方向扬声器混合器32c来均等地(即，每个50％)驱动一对背景或后扬声器25c和25d之外，本示例基本上与图2所示的示例相同。因此，混合器增益控制阵列31c被示为将来自无方向源24(组2A)的100％的音频以及来自当前和先前的活动讲话者源16a和16b的0％的音频馈送到无方向扬声器混合器32c中。

图4图示出了图1的遥现会议系统的示例参与者混合器有限状态机。输入到系统中的任何音频源可以处于图4所示的四个状态中的一个状态。本领域从业人员将理解，图4的状态机可以实现为控制馈给与各个扬声器相关联的音频混合器的增益向量的方法。安静或背景状态40表示从完全安静的或者幅度或音量如此低以致于系统不将其考虑为活动讲话者身份的源接收到的音频。实质上，如果从源接收到的音频具有小于预定阈值的幅度，则将其置于安静或背景状态40中。参与者(音频或视频)可以通过停止讲话来分别从状态41和42进入安静状态40，如由转变箭头45和47所示的。替代地，视频参与者可以因使他们的图像在显示屏上被取代而从大声的、被显示状态43转变到安静状态40，如转变箭头49所示的。

当安静状态40中的参与者开始讲话时，他们立即转变到大声、未被显示状态42中，如由转变箭头46所示的。而在状态42中，音频源由远程遥现会议地点中的扬声器无方向地输出。作为示例，进行了突发简短讲话的(例如“Ahaa”)或者其讲话尚未超过预定时间段阈值(例如，两秒)的任何视频参与者被置于大声的、未被显示状态42中。如果视频参与者在达到预定时间段阈值之前停止讲话，则他们转变回安静状态40，如由转变箭头47所示的。另一方面，如果视频参与者讲话足够长(例如，大于2秒)，则系统将它们标识为当前的或活动的讲话者，并且音频源转变到大声的、被显示状态43，如转变箭头48所示。当在大声的、被显示状态43中时，视频参与者的音频源是有方向的；即，参与者的语音由与示出了该参与者的图像的显示器邻近的扬声器来输出。

注意，在大声的、被显示状态43中的参与者可能不直接转变到大声的、未被显示状态42中。而是，当系统决定用新的活动讲话者的图像取代处于大声的、被显示状态43中的视频参与者的图像时，则该参与者转变路径去往安静状态40。

大声的、仅音频状态41用于仅音频的参与者。当仅音频的参与者开始讲话时，他们从安静状态42转变到大声的、仅音频状态41，如转变箭头44所示的。而在状态41中，仅音频参与者的音频保持为无方向的。如果仅音频参与者停止讲话，则他们返回到安静状态40，如转变箭头45所示的。

图5图示出了用于在图2的装置中平滑地慢慢地摆动音频转变的示例方法。在一个实施例中，图4所示的音频转变可以根据图5所示的方法来实现。处理开始于判决块51，其中，系统询问每个音频源当前是否被显示。如果未被显示，则来自这些源的音频是无方向的并且系统将增益系数向量或阵列中的目标值设为100％除以音频混合器的数目(块52)。例如，如果存在两个音频混合器，一个用于左扬声器而一个用于右扬声器，则，这些无方向音频源的目标增益值被设为50％。

在音频源当前被显示的情况中，则下一步是将增益系数阵列中除了用于与由相关联的视频参与者使用的显示器相邻的扬声器的混合器之外的目标值设为零；该混合器的增益被设为100％。这在块53中示出。换言之，用于仍然被显示的所有近来的活动讲话者的目标增益值为0％而用于正被显示的当前活动讲话者的目标增益值为100％。

一旦对控制被应用于输入到各个混合器的音频源的增益值的增益系数阵列设置了目标值，方法就前进到块54，在块54中，为每个混合器设置增益递增量。在此步骤中，每个混合器的增益递增量被设置为等于目标系数减去当前增益系数再除以N，N是等于递增次数的整数。例如，系统可以被配置为使得所有音频改变在跨越10次递增的时间中逐渐发生，每次递增具有相等的持续时间。因此，如果音频源的当前增益值为50％(两个扬声器时的无方向)，则该混合器的增益递增量被设为5％。换言之，对于每次递增或迭代使该特定音频源的混合器的增益递增量5％，以便从当前状态转变到目标状态。对于相同的转变，另一音频源可能从100％转变为0％，在此情况中，该音频源的增益递增量被设为-10％。

一旦为每个混合器设置了增益递增量，则计数被清除(设置为＝0)，如块55所示。接下来，在判决块56中，系统询问当前的计数是否递增到等于N，N是用于转变的预定次数的迭代(块56)。如果是，则所有N次迭代已完成(例如，计数＝10)，并且转变方法被实现。然而，在本示例中，由于第一次通过循环，计数刚好被清除，因此，当前的计数等于零。这意味着对于此次迭代，处理前进到块57，其中，系统等待或暂停预定时间增量或时段(例如250ms)。在经过了预定时间段之后，将增益递增量加到每个混合器的当前增益系数中(块58)。然后将递增后的增益系数阵列载入混合器硬件中(块59)，并且在返回判决块56之前计数被递增(块60)。

注意，当从大声的、被显示状态转变出来回到安静状态41时，某些实现方式可以使音频源(即，视频参与者的语音)变为瞬时无方向的，这是因为要确保该参与者音频源不再活动地讲话。

在另一实施例中，不是使未被显示的音频源成为完全无方向的，而是，遥现会议系统基于与音频源相对应的视频图像最有可能出现的显示屏来加权每个未被显示的音频源。例如，在具有两个显示屏(每个显示屏具有相关联的扬声器)的遥现会议地点处，一个显示屏通常显示当前活动讲话者的视频图像，而另一显示屏示出先前的或最近的活动讲话者。在这种情形中，系统可以预测性地对朝着当前示出了先前活动讲话者的显示器的未被显示的音频源进行加权。

换言之，视频子系统可以提供对如果参与者持续讲话达到超过了突发简短讲话阈值或界限(例如大于2秒)的时间段则未被显示的参与者(音频源)最可能出现的具体显示器的预测或指示。然后音频子系统预定向或偏置分别处于安静状态40和大声的、未被显示状态42中的音频源。例如，不是在两个扬声器之间非定向地均等(50％-50％)分割未被显示的音频源，而是，扬声器之一可以被预测性地加权，以使得特定的未被显示的音频源被输出为60％-40％，有利于一个扬声器超过另一个。

在上述实施例的变体中，视频子系统可以基于正转变到大声的、被显示状态43的另一音频源来预定向询问每个单独的音频流：视频系统是否将改变为另一显示器。即，系统针对每个音频源流询问下一显示器改变可能在哪儿发生。然而，不是为状态40和42中的所有音频提供完全定向的状态向量，而是提供部分定向。例如，如果期望处于安静状态40和大声的、未被显示状态42中的音频出现在地点1处的扬声器14c(参见图1)上，则如果它们转变到大声的、被显示状态43，系统就可以使用诸如25％-25％-50％之类的增益向量(分别用在扬声器14a、14b和14c间)。在这种实现方式中，当新的当前讲话者产生时，不存在音频的摆动。然而，每当视频源改变或切换显示器时，其余的未被显示音频源存在音频摆动。

图6图示出了示例网络设备或节点60(例如遥现会议服务器)的基本组件。节点60通常包括多个基本子系统，这些基本子系统包括处理器子系统61、主存储器62和输入/输出(I/O)子系统65。数据通过存储器总线63在主存储器(“系统存储器”)62和处理器子系统61之间传送，并且通过系统总线66在处理器与I/O子系统之间传送。系统总线的示例可以包括传统的快速数据传送(或超速传送)总线以及传统的外围组件互连(PCI)总线。节点60还可以包括耦合到系统总线66的用于执行其它功能的其它硬件单元/模块64。处理器子系统61可以包括一个或多个处理器以及控制器设备(结合了包括系统存储器控制器的一组功能)，支持一个或多个系统总线和直接存储器访问(DMA)引擎。

应当明白，也可以以计算机程序产品的形式来提供本发明的元件，其可以包括存储有指令的机器可读介质，指令可以用来对计算机(例如，处理器或其它电子设备)编程以执行操作序列。替代地，操作可以由硬件和软件的组合来执行。机器可读介质可以包括但不限于软磁盘、光盘、CD-ROM以及磁光盘、ROM、RAM、EPROM、EEPROM、磁卡或光学卡、传播介质或者适合于存储电子指令的其它类型的介质/机器可读介质。例如，本发明的元件可以被下载为计算机程序产品，其中，程序可以经由通信链路(例如，调制解调器或网络连接)以体现在载波或其它传播介质中的数据信号的方式从远程计算机或电话设备被传送给作出请求的进程。

另外，虽然已结合具体实施例描述了本发明，然而，多种修改和变更也落在本发明的范围之内。因此，说明书和附图被认为是说明性的而非限制性的意思。

Claims (18)

1.一种遥现会议设备，包括：

第一和第二视频显示器，用于显示遥现会议的远程参与者的图像；

第一和第二扬声器，分别与所述第一和第二视频显示器相关联；

第一和第二音频混合器，所述第一和第二音频混合器中的每个被耦合来接收从远程参与者输入的音频源，所述第一和第二音频混合器中的每个用于将增益系数应用于各音频源，所述第一和第二音频混合器用于产生分别去往所述第一和第二扬声器的第一和第二混合音频输出；以及

一个或多个处理器，用于实现有限状态机，所述有限状态机包括控制被所述第一和第二音频混合器中的每个应用于各音频源的增益系数的第一状态、第二状态和第三状态，在与基本无声或仅有背景噪声相对应的第一状态中，音频被抑制或者无方向性地被混合在所述第一和第二混合音频输出中；在与大声的、未被显示的参与者相对应的第二状态中，音频被无方向性地混合在所述第一和第二混合音频输出中；并且在与大声的、被显示的参与者相对应的第三状态中，音频取决于是第一视频还是第二视频显示了大声的、被显示的参与者的图像而相对于第一或第二混合音频输出有方向性地被混合。

2.如权利要求1所述的遥现会议设备，还包括：用于通过响应于从第二状态转变为第三状态，通过N次迭代将由所述第一和第二混合器的每个应用于各音频源的增益系数从当前值改变为目标值，来转变所述第一和第二混合音频输出的装置，其中，N是大于1的数。

3.如权利要求2所述的遥现会议设备，其中，所述装置还用于计算在N次迭代的每次迭代期间由所述第一和第二音频混合器中的每个应用于各音频源的增益递增量。

4.如权利要求1所述的遥现会议设备，其中，所述有限状态机还包括与来自仅音频的参与者的语音相对应的第四状态，在所述第四状态中，所述语音被无方向性地混合在所述第一和第二混合音频输出中。

5.如权利要求1所述的设备，其中，当远程参与者开始讲话时，与所述远程参与者相关联的音频源从所述第一状态转变为所述第二状态。

6.如权利要求1所述的遥现会议设备，其中，当远程参与者停止讲话时，与所述远程参与者相关联的音频源从所述第二状态转变为所述第一状态。

7.如权利要求1所述的遥现会议设备，其中，与远程参与者相关联的音频源响应于所述远程参与者讲话的持续时间超过预定时间而从所述第二状态转变到所述第三状态。

8.如权利要求1所述的遥现会议设备，其中，当远程参与者的图像在第一或第二视频显示器上由另一图像取代时，与所述远程参与者相关联的音频源从所述第三状态转变为所述第一状态。

9.如权利要求1所述的遥现会议设备，还包括：

第三视频显示器；

第三扬声器，所述第三扬声器与所述第三视频显示器相关联；以及

第三音频混合器，所述第三音频混合器被耦合来接收从远程参与者输入的音频源，所述第三音频混合器用于向每个音频源应用增益系数，并且产生到所述第三扬声器的第三混合音频输出；并且

其中，所述一个或多个处理器根据所述有限状态机来控制应用于被输入所述第三混合器的每个音频源的增益系数。

10.一种用于控制遥现会议设备中的音频的方法，所述方法包括：

在第一和第二显示器上显示遥现会议的远程参与者的图像，所述第一和第二显示器与第一和第二扬声器相关联；

在第一和第二音频混合器处接收从远程参与者输入的音频，所述第一和第二音频混合器与所述第一和第二扬声器相关联；

由所述第一和第二音频混合器将增益系数应用于各音频输入；

由所述第一和第二音频混合器产生分别去往所述第一和第二扬声器的第一和第二混合音频输出；以及

实现第一、第二和第三状态，所述第一、第二和第三状态控制被应用于各音频输入的增益系数，所述第一状态与基本无声或仅有背景噪声，其中音频被抑制或者无方向性地被混合在所述第一和第二混合音频输出中；所述第二状态与大声的、未被显示的参与者相对应，其中音频被无方向性地混合在所述第一和第二混合音频输出中；所述第三状态与大声的、被显示的参与者相对应，其中音频取决于是第一视频还是第二视频显示了大声的、被显示的参与者的图像而相对于第一或第二混合音频输出有方向性地被混合。

11.如权利要求10所述的方法，还包括：

通过响应于从第二状态转变为第三状态，通过N次迭代将由所述第一和第二混合器的每个应用于各音频输入的增益系数从当前值改变为目标值，来转变所述第一和第二混合音频输出，其中，N是大于1的数。

12.如权利要求11所述的方法，还包括：

计算在N次迭代的每次迭代期间由所述第一和第二音频混合器中的每个应用于各音频输入的增益递增量。

13.如权利要求10所述的方法，还包括：

实现第四状态，所述第四状态与来自仅音频的参与者的语音相对应，其中所述语音被无方向性地混合在所述第一和第二混合音频输出中。

14.如权利要求10所述的方法，还包括：

当第一远程参与者开始讲话时，与所述第一远程参与者相关联的音频源从所述第一状态转变为所述第二状态。

15.如权利要求10所述的方法，还包括：

当第一远程参与者停止讲话时，与所述第一远程参与者相关联的音频源从所述第二状态转变为所述第一状态。

16.如权利要求10所述的方法，还包括：

与第一远程参与者相关联的音频源响应于所述第一远程参与者讲话的持续时间超过预定时间而从所述第二状态转变到所述第三状态。

17.如权利要求10所述的方法，还包括：

当第一远程参与者的图像在第一或第二视频显示器上由另一图像取代时，与所述第一远程参与者相关联的音频源从所述第三状态转变为所述第一状态。

18.如权利要求10所述的方法，还包括：

在第三音频混合器处接收从远程参与者输入的音频，所述第三音频混合器与第三扬声器和第三视频显示器相关联；

由所述第三音频混合器向每个音频输入应用增益系数；

由所述第三音频混合器产生到所述第三扬声器的第三混合音频输出。

Images