CN101702762A - 一种实现多语言会议的多点控制单元和会议终端 - Google Patents

Abstract

本发明公开了一种实现多语言会议的系统，该系统包括：会议终端，用于将会场发言进行处理后，发送给多点控制单元；将来自于多点控制单元的音频数据，进行处理并输出；其中，至少一个会议终端，还用于将会场发言进行翻译，对翻译后的音频数据处理后发送给多点控制单元；多点控制单元，对来自于会议终端的音频数据，按语种进行分声道混音处理后，将音频数据发送给会议终端。本发明还公开了一种实现多语言会议的方法。本发明的系统及方法实现了：当多点会议系统中，存在多个发言语种时，各会场可以按照选定的语言种类参与会议。

Description

一种实现多语言会议的多点控制单元和会议终端

本申请是对申请号为200610063017.7，申请日为2006年9月30日，名称为“一种实现多语言会议的系统及方法”的申请文件所作的分案申请，其全部内容通过引用包含于本申请之中。

技术领域

本发明涉及通讯技术领域，尤其涉及一种实现多语言会议的系统及方法。

背景技术

近年来，随着通讯技术的发展，视讯会议得到了广泛的开展和应用。视讯会议可以理解为通常意义上的电视会议业务，通过多媒体通信手段，利用电视设备和通信网络召开会议，可以同时实现两地或多个地点之间的图像、语音、数据的交互功能。如附图1所示，视讯会议一般由视讯终端、传输网络、多点控制单元(MCU，Multipoint ControlUnit)等几部分组成。

视讯终端设备主要包括视频输入/输出设备、音频输入输出设备、视频编解码器、音频编解码器、信息通信设备及多路复用/信号分线设备等。其基本功能是将本地摄像机拍摄的图像信号、麦克风采集的声音信号进行压缩编码，经过传输网络，传至远方会场。同时，接收来自远方会场的声音信号，经过解码后，还原成模拟的图像和声音信号。其中对音频数据的处理过程如附图2所示。

要组成一个完整的电视会议系统必须通过通信网络将终端设备同MCU连接起来，传输信道可以光纤、电缆、微波或卫星等方式。

MCU是视讯会议的控制核心，当参加会议的会议终端数量多于两个时，必须经过MCU进行控制，所有会议终端都要通过标准接口连接到MCU，MCU按照国际标准H.221、H.242等协议实现，主要功能是实现图像和语音的混合和交换，实现所有会场的控制功能。

MCU对于音频数据的处理主要是实现多点会场的混音功能，参与混音的会场为多点会场中发言音量较大的会场。如实现三点混音，则参加混音的会场是多点会场中音量最大的三个会场，混音策略介绍如下：

1)当前只有一个会场发言，在发言会场听不到自己的声音，其他会场均能听到发言会场的声音；

2)如果当前有两个会场同时发言，则发言双方均能听到对方的声音，但不能听到自己的声音，而其他会场均能同时听到发言的两个会场的声音；

3)如果当前有三个会场或超过三个以上的会场同时发言时，则音量最大的三方会场参加混音，如附图3所示，T1、T2、T3为当前会场中发言音量最大的三个会场，其中任意一个会场均能听到其他两个会场的声音，如T1会场可以听到T2和T3的声音；T1、T2、T3之外其他会场均能同时听到这三个会场的声音。

采用当前的视讯会议系统开会，会议系统对声音的处理如附图2所示，发言会场的数据编码后发送到MCU，MCU经过混音处理将发言会场的声音数据发送到其他会议终端，其他终端解码后即可听到发言会场的声音。在当前的视讯会议系统中，MCU和终端将某个会场的音频数据是作为一路数据进行处理的。当整个会议系统中只使用一种语言时，多个会场之间的交流不会存在问题。但是，当整个会议系统中存在两种或两种以上的语音种类时，与会者之间就会存在语言交流的障碍，现有技术中针对该问题，可以有以下两种解决方案，我们以中英文混合会议为例，并且考虑多个会场中有一个会场用英文发言的情形：

第一种方法是：其他所有的中文会场，为了听懂上述英文会场的发言内容，均各自配备翻译人员，分别为自己的会场进行英文到中文的翻译。这样做的后果是，如果会议规模较大，就要配备很多的翻译，造成人员的浪费。而且，每个中文会场的翻译人员在进行翻译时，麦克风会将翻译数据传递给其他会场，这样场面就会非常混乱，在实际中不可行；若麦克风设置为不将翻译数据传递给其他会场，则发言会场不清楚中文会场是否翻译完成，无法控制自己的讲话速度，这样会造成整个会议质量较差。

第二种方法是：专门指定一个会场为翻译终端，为参与混音的会场发言进行翻译。但这种方案同样存在弊端，如果英文会场发言，该翻译将其翻译成中文，则各个会场均会先听到英文，后听到中文，但事实上，中文会场无需听到英文发言，英文会场也无需听到翻译后的中文发言，这就使得与会者不得不听到许多无用的信息，中英文混杂，使得会议秩序混乱，与会者极易产生疲劳，而且翻译的过程会使会议节奏变慢，效率降低。

如果再考虑到会议中可能存在三种甚至三种以上的语言种类，而且可能有多个会场同时发言，考虑到混音之后的效果，上述两种方案将会导致会议质量较差，无法应用。

发明内容

有鉴于此，本发明提供一种实现多语言会议的系统及方法，可以在配备少量翻译资源的情况下，实现在多语言多点会议系统中，各个会场可以只使用选定的语言种类参与会议。

本发明提供的实现多语言会议的系统是这样实现的：

一种实现多语言会议的系统，包括：

会议终端，用于将会场发言进行处理后，发送给多点控制单元；将来自于多点控制单元的音频数据，进行处理并输出；其中，至少一个会议终端，还用于将会场发言进行翻译，对翻译后的音频数据处理后发送给多点控制单元；

多点控制单元，对来自于会议终端的音频数据，按语种进行分声道混音处理，将处理后的音频数据发送给会议终端。

其中，所述的会议终端为：

具有一个输入接口和一个输出接口的会议终端。

其中，所述的会议终端，包括：

具有两个以上输入输出接口的会议终端。

其中，所述的会议终端为，采用单声道编解码器进行编解码的会议终端。

其中，所述会议终端为，采用多声道编解码器进行编解码的会议终端。

其中，所述的多点控制单元，为：

采用单方混音、两方混音或三方混音策略的多点控制单元。

其中，所述进行翻译的会议终端所翻译的会场发言为：

各会场发言中音量最大的会场发言。

本发明所提供的实现多语言会议的方法为：

会议终端，将会场发言进行处理后，发送给多点控制单元；将来自于多点控制单元的音频数据，进行处理并输出；其中，至少一个会议终端，将会场发言进行翻译，将翻译后的音频数据发送给多点控制单元；

多点控制单元对来自于会议终端的音频数据，按语种进行分声道混音处理，将处理后的音频数据发送给会议终端。

其中，所述会议终端通过一个输入接口、输出接口处理音频数据。

其中，所述会议终端通过两个以上的输入、输出接口处理音频数据。

其中，所述会议终端采用单声道编解码器处理音频数据。

其中，所述的会议终端采用多声道编解码器处理音频数据。

其中，所述的混音处理为：

一方混音、两方混音或三方混音。

其中，所述的将处理后的音频数据发送给会议终端，具体为：

按照多点控制单元的设定或会议终端的选择将处理后的音频数据发送给会议终端。

其中，所述的将会场发言进行翻译，具体为：

将各会场发言中音量最大的发言进行翻译

本发明的有益效果是：

1、由于使用了多声道技术，各会场可以听到单一语言种类的会议发言，也可以按照需求听到所需语种的发言，从而可以成功地避免听到无用的语言信息；

2、由于引入了同声传译，因此翻译所引起的会议延迟基本上可以忽略不计，有力地保障了会议进程的顺利完成；

3、由于在少量的会场集中处理各会场发言的翻译工作，在保证翻译质量的前提下，大大节省了翻译资源，降低了会议成本；

4、由于使用了多声道技术，成功实现了在一个会议系统中可以使用多种语言进行发言，同时又互不干扰，不同语种无缝接合，从而满足了不同人群的语言需求；

附图说明

图1是现有技术中召开多点视讯会议的系统示意图；

图2是现有技术中会议终端对于音频数据的处理方案示意图；

图3是现有技术中多点控制单元的混音策略示意图；

图4是本发明的应用场景示意图；

图5是本发明的系统示意图；

图6是本发明系统的具体实施方式一中会议终端对于音频数据的处理方案示意图；

图7是本发明系统的具体实施方式一中多点控制单元对于音频数据的处理方案示意图；

图8是本发明系统的具体实施方式一中存在中英俄三种语言时的混音方案示意图；

图9是本发明系统的具体实施方式一中存在中英俄三种语言时的混音方案示意图；

图10是本发明系统的具体实施方式二或三中会议终端和多点控制单元之间关系示意图；

图11是本发明系统的具体实施方式三中多点控制单元的实现方案示意图；

图12是本发明系统的具体实施方式四中的系统示意图；

图13是本发明系统的具体实施方式五中的系统示意图；

图14是本发明系统的具体实施方式五中多点控制单元的实现方案示意图；

图15是本发明系统中存在中英俄三种语言时的混音解决方案示意图；

图16是本发明系统中存在中英俄三种语言时的混音解决方案示意图。

具体实施方式

本发明所述的系统及方法是通过在多点会议系统的MCU采用多声道处理技术，针对不同的语言种类，设置不同的声道，对不同语种的音频数据分声道进行处理。所谓的分声道处理就是指各语种的音频数据通过各自对应的声道进行处理，比如，中文音频数据在声道1处理，英文音频数据在声道2处理，各语种音频数据的处理互不干扰。需要说明的是，本发明所述的多点会议系统不仅包括传统的纯语音多点会议系统，也包括会议电视系统或视讯会议系统。

本发明的实施方式以中英文多点会议为例进行说明，其他两种或两种以上语言种类的会议采用类似方式处理。

请参阅附图4，该图描述了本发明的应用场景。每个会场对应一个会议终端，然后指定多点会议系统中的任意一个会场为翻译会场，负责对各个会场的发言进行中英互译。请参阅附图5，本发明的系统包括各个会议终端和MCU。

本发明系统的具体实施方式一：

会议终端，翻译终端(翻译会场的会议终端简称为“翻译终端”，以下相同)只使用一个输入和输出接口，MCU采用多声道混音，MCU配置会议终端对应的语种和作为翻译终端的会议终端。本方案中对会议终端和翻译终端没有什么特殊要求，大部分工作都是由MCU来完成。各部分详述如下：

如图6，会议终端采集本地输入音频信号，进行编码并发送给MCU。接收MCU送过来音频码流，解码后播放出来。这样终端不必区分输入和输出的语种。

翻译终端负责对各个会场的发言进行语种翻译，如将会场的中文发言翻译成英文，将英文发言翻译成中文。在本实施方式中，翻译会场由翻译人员进行人工同声翻译，也可以使用翻译机进行机器智能同声翻译。

如图7，调度会议的时候，MCU先配置各个会议终端的语种信息，并指定具有同声传译功能的会议终端为翻译终端。如配置会议终端1的语种为中文，会议终端2的语种为英文，同时指定会议终端3为翻译终端。当MCU收到会议终端的音频数据时，先进行解码，然后根据该会议终端被配置的语种信息，把解码后的语音数据送到相应的语种混音器进行混音。例如配置为中文的会议终端，则MCU把收到的该会议终端的音频数据送到中文混音器混音，配置为英文的会议终端的音频数据则被送到英文混音器进行混音。翻译终端发送给MCU的音频数据始终参与混音，参加哪个语种混音后面介绍。MCU按照语种单独混音后，各语种的混音策略参见背景技术，分别发送给对应的配置好语种的会议终端。如参加中文混音的会议终端接收中文混音后的相应数据，参加英文的混音的会议终端接收英文混音后的相应数据。

MCU混音有两个步骤，第一比较各个会场的音量大小，第二根据会场的音量大小选择声音被广播的会场，并把它们的声音发送给接收会场。混音可采用一方混音，两方混音，三方混音，甚至四方或更多方混音。一方混音时只有声音最大的一方被广播到各个会场；两方混音时，只有声音最大的两方被叠加后进行广播，被广播的音量最大的两个会场不会听到自己的声音，但互相能听到对方的声音；一方混音和两方混音在包含三个以上会场的交互式会议中，比较容易出现切字的缺点，因此提出了三方混音，三方混音的示意图如图3：

比较各个会场的音量，得到三个音量最大的会场，T1、T2、T3，则它们三个参加混音，T1、T2、T3数据相加后发送给其他不参与混音的会场，T1、T2、T3分别听到除了自己以外的其他两方会场的声音叠加，即T1听到T2和T3会场叠加的声音，T2听到T1和T3会场叠加的声音，T3听到T1和T2会场叠加的声音。一方混音的时候实现简单，比较适合于只有主席发言的情况，但交互性能比较差。两方混音的时候可以有一定的交互性，但是当第三方插话的时候，比较容易出现有一方的声音被剪切，三方混音的交互效果比较好。

MCU按照语种独立混音后，各语种的混音结果分别发送给对应的配置好语种的会议终端。如参加中文混音的会议终端接收中文混音后的相应数据，参加英文的混音的会议终端接收英文混音后的相应数据。

图7中，每一对语种只使用一个翻译终端，如中英文翻译终端可以进行中文到英文翻译，也可以进行英文到中文的翻译。采用一方混音时，中英文语种中音量最大的一方发送给翻译终端，翻译终端不参加音量比较，取音量最大的音频数据发送给翻译会场，如果音量最大的为中文语种，则发送给翻译终端的音频数据语种为中文，下次混音时，翻译终端的音频数据参加英文语种混音。如果音量最大的为英文语种，则发送给翻译终端的音频数据语种为英文，下次混音时，翻译终端的音频数据参加中文语种混音。虽然中英文语种只取最大的一方发送给翻译终端，但是中文语种或者英文语种本身自己的混音可以采用一方，两方，三方，甚至四方或更多方混音，翻译终端始终参加对应语种的混音，其音量可以是最大一方，或者是音量最大方之一。

采用两方混音时，选取音量最大的两方的音频数据发送给翻译终端进行翻译，则需要有两个翻译终端。一个翻译最大音量会场的声音，一个翻译次最大音量会场的声音，翻译会场的音量不参加音量比较。经过翻译过的声音被送到对应语种的混音器混音。如果音量最大的两方都为中文或者英文，则经过翻译终端翻译后的数据在下一次混音的时候以音量最大的两方或者音量最大的几方之二参加英文或者中文的混音。如果音量最大的两方为一个中文一个英文，则经过对应的终端翻译后分别参加中文和英文的混音。翻译终端始终参加混音，其参加音量比较的音量可以是等于其翻译的会场的音量，或者是音量最大方之一。同样的，中文语种或者英文语种混器可以是两方，三方甚至更多方混音。

采用三方或者更多方混音时，混音的处理和两方的混音处理类似，需要三个或者更多个的翻译终端来对音量最大的几方的音量进行翻译。

以上为了说明方便只列举了中英文两个语种的多语言会议，任何两种语言的多语言会议都可以按照上面所说的方法来完成。本发明同时开会的语种可以超过两个，每增加一个语种，终端的处理不变，MCU相应增加一个混音器。如图8所示，以中英俄三语种开会为例，翻译终端有三个，一个实现中英互译，一个实现中俄互译，一个实现英俄互译，中英俄混音结果发送给各自的收听会场，图8中采用一方混音，中英俄音量最大的一方经过编码后发送给对应的翻译会议终端，注意翻译终端来的音量不参加比较。如果中文音量最大，则把中文数据发送给中英和中俄翻译会场，如果是英文或者俄文音量最大，处理方法类似。这种方法中英俄只有音量最大的一方被翻译。四语种及以上类推。

采用两方及两方以上的混音时的处理和前面描述的类似，只是要多一些翻译终端来进行次大方会场声音的翻译。

图9中是更灵活的一种混音实现方式，混音时，中英，中俄，英俄语种各自比较音量大小，然后把最大的一方发送给对应的翻译终端进行翻译。如中文和英文比较音量，把音量大的一方发送给中英翻译会议终端，中文和俄文比较音量大小，把音量大的一方发送给中俄翻译终端，英文和俄文比较音量大小，把音量大的一方发送给英俄翻译终端。翻译后的音频数据参加对应语种的混音。如参加中文混音的有中文、英译中、俄译中的数据，中文混音有一方混音，两方混音，三方混音，甚至更多方混音。中文混音时，英译中的音量按照英文的音量参与音量比较，俄译中的音量按照俄文的音量参与音量比较。英文和俄文混音时的处理和中文混音的处理类似，四语种及以上类推。

图9中，每两个语种之间也可实现两方甚至更多方的混音，但是翻译终端要相应的增加。

本发明系统的具体实施方式二：

会议终端，翻译终端只使用一个输入和输出接口，会议终端需要通过信令的方式告知MCU自己的语种，或告知MCU自己是翻译终端。MCU采样多声道混音。会议终端和翻译终端以及MCU使用的编解码器为单声道的编解码器。各部分详述如下：

会议终端实现同具体实施方式一，不同于实施方式一的是：如图10，会议终端支持会场语种配置，并通过信令如H.245的方式向MCU确认会场的语种，例如会议终端选择语种为中文，则告知MCU该会议终端属于中文会场。

翻译终端实现同具体实施方式一，不同于实施方式一的是：配置会议终端为翻译终端，并通过信令如H.245的方式通知MCU该会议终端就是翻译终端。

MCU实现同具体实施方式一，不同于实施方式一的是：MCU通过信令如H.245知道会议终端配置的语种或会议终端是否作为翻译终端来使用。即图7中的会场属性配置信息是通过信令如H.245方式从会议终端获得。

本发明系统的具体实施方式三：

会议终端，翻译终端只使用一个输入和输出接口，会议终端需要通过带内的方式告知MCU自己的语种，或告知MCU自己是翻译终端。MCU采样多声道混音。会议终端和翻译终端以及MCU使用的编解码器为单声道的编解码器。各部分详述如下：

会议终端实现同具体实施方式二，不同于实施方式二的是：会议终端接收输入的音频数据，进行编码，把编码后的码流和码流对应的语种信息一起打包发送给MCU，见图10，如中文会议终端在发送给MCU的码流内增加中文标识，英文会议终端发送给MCU的码流内增加英文标识。而不是采用信令的方式向MCU表明自己的语种。

翻译终端的实现同具体实施方式二，不同于实施方式二的是：配置会议终端为翻译终端，翻译终端在发送给MCU的码流内增加翻译终端的标识，向MCU表明自己是翻译终端，而不是采用信令的方式向MCU表明翻译终端的身份，见图10，

MCU实现同具体实施方式二，不同于实施方式二的是：见图11，MCU通过分析接收的音频码流，确认码流的语种和会议终端是否为翻译终端。而不是采用信令的方式来确认会议终端的语种和是否为翻译终端。

本发明系统的具体实施方式四：

有时候同样一个会场可能有存在多个语种的发言和收听多个语种，如果会场中的多个语言交互发言的话，按照前面的方法需要不断地更新设置会议终端的语种，这样操作起来不是很方便。本实现方案中会议终端使用多个输入输出口。

会议终端有两个输入通道，会议终端的通道语种配置模块配置每个输入通道对应到的语种，如中文对应通道1，英文对应通道2。通道1和通道2的数据在送往编码器之前先进行音量比较，音量大的一方送编码器编码，如图12所示，编码后的码流在发送给MCU之前加入该通道对应的语种信息。如会场中只有中文语种发言时，通道1的数据送编码器编码，编码后在码流内打中文的标识后发送给MCU。会场只有英文发言的时候，通道2的数据送编码器编码，编码后在码流内打英文标识后发送给MCU。如果中文和英文语种同时发言，则音量大的一方被编码后，加上相应的语种信息发送给MCU。

配置为翻译终端的会议终端，在发送给MCU的码流流中增加翻译终端身份标识，当然也可以通过信令的方式如H.245信令向MCU表明身份。

如图11，MCU收到会议终端来的音频码流后，通过终端语种和翻译终端识别识别出码流对应的语种和是否为来自翻译终端的码流，进行解码后，根据识别后的语种信息，把码流送到不同语种的混音器进行混音。如语种为中文的送到中文混音器混音，英文的送到英文混音器混音。混音后，中文和英文的混音结果按照音量的大小一一配对，然后分别编码，并各自打上语种标识，再发送给对应的接收会议终端。如中文混音输出和英文混音输出的音量最大的配对发送给接收中文或者英文最大音量的会场。

如图12，本方案中，会议终端还可以选择接收的语种，会议终端通过信令方式如H.245信令，把自己选择收听的语种告知MCU。经过混音后，MCU根据会议终端选择收听语种信息，把混音后的数据发送给会议终端。如果会议终端选择收听中英文语种的信息，则MCU发送给会议终端的数据如前面所述处理，如果会议终端只选择收听中文，则中文混音后的结果发送给对应的接收会议终端，英文也是同样处理。翻译终端需要设置成中英文语种都接收。

会议终端根据收听语种的配置，对收到的MCU码流进行有选择的或者全部解码，然后把解码后的码流输出到对应的输出通道。如配置输出通道1输出中文，输出通道2输出英文，则当会议终端接收到中英文码流后，分别解码，并把解码后的码流送到对应的输出通道。如果只配置输出通道1输出中文，则丢弃英文码流的数据，只解码中文码流数据，并发送到输出通道1输出。如果只配置输出通道2输出英文，则丢弃中文码流的数据，只解码英文码流数据，并发送到输出通道2输出。

发送给翻译终端的音频数据和翻译终端参加的语种混音处理如下：MCU比较接收到的中文和英文音频数据的音量大小，翻译终端不参加音量比较，取音量最大的音频数据发送给翻译会场，如果音量最大的为中文语种，则发送给翻译终端的音频数据语种为中文，下次混音时，MCU接收到的翻译终端的音频数据参加英文语种混音。如果音量最大的为英文语种，则发送给翻译终端的音频数据语种为英文，翻译完成后，翻译终端将翻译后的中文数据发送到MCU，参加中文语种混音。

本发明系统的具体实施方式五：

本方案同方案四类似，不同之处在于采用了多声道编码器。

如图13，会议终端的处理不同于方案四的是，不同语种的编码对应多声道编码器的编码声道，如中文对应在左声道编码，英文在右声道编码，编码后打包发送给MCU。

配置为翻译终端的会议终端，在发送给MCU的码流流中增加翻译终端身份标识。也可以通过信令如H.245向MCU表明身份。

如图14，MCU收到会议终端来的音频码流后，进行解码，然后把声道数据送到对应混音器混音，如左声道的数据送到中文混音器混音，右声道的数据送到英文混音器混音。混音后，中文和英文的混音结果按照音量的大小一一配对，在多声道编码器对应的声道编码，发送给会议终端。

会议终端接收到MCU发送过来的码流后，进行解码，根据选择的输出语种，把解码后的对应语种的数据送到输出通道。翻译终端设置成中英文语种都接收。

发送给翻译终端的音频数据和翻译终端参加的语种混音处理如下：MCU比较接收到的中文和英文音频数据的音量大小，翻译终端不参加音量比较，取音量最大的音频数据发送给翻译会场，如果音量最大的为中文语种，则发送给翻译终端的音频数据语种为中文，下次混音时，MCU接收到的翻译终端的音频数据参加英文语种混音。如果音量最大的为英文语种，则发送给翻译终端的音频数据语种为英文，翻译完成后，翻译终端将翻译后的中文数据发送到MCU，参加中文语种混音。

以上为了说明方便，只列举了中英文两个语种的多语言会议，任何两种语言的的多语言会议都可以按照上面所说的方法来完成。本发明同时开会的语种可以超过两个，每增加一个语种，终端的处理不变，MCU相应增加一个混音器。如图15所示，以中英俄三语种开会为例，中英俄混音结果发送给各自的收听会场，另外中英俄音量最大的一方经过编码后发送给对应的翻译会议终端，注意翻译终端来的音量不参加比较。如果中文音量最大，则把中文数据发送给中英和中俄翻译会场，如果是英文或者俄文音量最大，处理方法类似。这种方法中英俄只有音量最大的一方被翻译。四语种及以上类推。

图16中是更灵活的一种混音实现方式，混音后，中英，中俄，英俄语种各自比较音量大小，然后发送给对应的翻译终端进行翻译。这样中英俄语种的会场可以同时发言。四语种及以上类推。

本发明方法的具体实施方式：

与上述系统的具体实施方式相同，各会场首先要配置好各自会场的语种信息及正确连接会议终端的输入输出接口，指定一个会场作为翻译会场，负责对会场发言进行翻译，当多点会议系统中只有两种语言时，指定一个会场就可以了，当存在三种以上语言时，就需要指定多个翻译会场；各会议终端将会场发言转换为音频数据，发送给多点控制单元；还包括：

翻译会场对会场发言进行同声传译，将翻译后的发言，按语言种类进行处理后发送给多点控制单元；

多点控制单元对来自于会议终端的音频数据，按语言种类分声道进行混音处理，将处理后的音频数据按照多点控制单元预先设定的语种或会议终端的语种选择，发送给会议终端；

会议终端将来自于多点控制单元的音频数据，处理后输出。

会议终端及多点控制单元的具体实现方法，请参考上述系统的具体实施方式一至五，在此不再赘述。

只要使用本方法，无论是只有翻译会场发言的情形，还是只有其他会场发言的情形，或者翻译会场和其他会场都参与发言的情形，都能成功的实现按照语言种类分声道处理，各语种发言内容互不干扰，各会场可以选择自己需要的语言种类参与会议。

本发明的上述实施方式中，都只是以中英文会议为例进行说明，在本发明的实际应用过程中，会议所使用的语言并不限于中文和英文，可以是任何两种语言的组合；会议所使用的语言种类也不限于两种，可以是三种甚至更多；多点控制单元所使用的混音策略也不限于背景技术所使用的方法，其他混音策略同样适用；只要按照本发明所述系统及方法，均可以实现每个会场只按照自己选择的语种参与会议，例如当会议系统中存在中英俄三种语言时，设置三个声道分别处理对应语种的声音数据即可，同时设置三个翻译会场：中英翻译会场、中俄翻译会场和英俄翻译会场；各会场根据配置信息决定只输出自己需要的语言种类，屏蔽掉对自己无用的语音信息。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种多点控制单元，包括：

获取模块，用于获取语种信息以及各个会议终端发送的音频数据；

混音模块，用于根据所述语种信息，将会议终端和翻译终端发送来的音频数据送到相应语种的混音器进行混音，其中，翻译终端翻译后的音频数据送到翻译终端所翻译的目标语种的混音器进行混音；

发送模块，用于将某会议终端的音频数据发送到翻译终端，并将相应语种的混音器混音后的音频数据发送到相应语种的会议终端或者选择收听所述相应语种的会议终端。

2.如权利要求1所述的多点控制单元，其特征在于：所述语种信息是会议终端的语种信息、会议终端的声道的语种信息或者会议终端的输入通道的语种信息。

3.如权利要求2所述的多点控制单元，其特征在于，还包括：

配置模块，用于配置会议终端的语种信息，以及指定翻译终端。

4.如权利要求1或2所述的多点控制单元，其特征在于：所述获取模块具体用于解析会议终端发出的信令中包含的语种信息。

5.如权利要求1或2所述的多点控制单元，其特征在于：

所述语种信息是码流中包含的语种标识；

所述获取模块具体用于解析会议终端发来的码流中包含的语种标识。

6.如权利要求1所述的多点控制单元，其特征在于：所述第一会议终端是音量最大的会议终端或者音量最大的多个会议终端中的一个，或者所述第一会议终端是两个不同语种会议终端中各自音量最大的会议终端中音量较大的会议终端。

7.如权利要求1所述的多点控制单元，其特征在于：所述发送模块还用于将语种标识添加到发送的音频数据中。

8.一种会议终端，包括：

配置模块，用于配置语种信息；

通知模块，用于根据语种信息配置，通知多点控制单元所述语种信息。

9.如权利要求8所述的会议终端，其特征在于：

所述语种信息为所述会议终端的语种信息；

所述配置模块，具体用于配置所述会议终端的语种信息；

所述通知模块，具体用于通过信令通知多点控制单元所述会议终端的语种信息。

10.如权利要求8所述的会议终端，其特征在于：

所述语种信息为语种标识；

所述配置模块，具体用于将语种标识添加到所述会议终端发出的码流中；

所述通知模块，具体用于向多点控制单元发送所述携带有语种标识的码流。

11.如权利要求10所述的会议终端，其特征在于，

所述会议终端至少包括两个输入通道；

所述会议终端还包括：

通道语种配置模块，用于配置各输入通道的语种信息；

音量比较模块，用于比较各输入通道的音量，并将音量最大的输入通道的数据送到编码器编码；

所述配置模块，具体用于将对应输入通道的语种标识添加到所述编码器编码产生的码流中。

12.如权利要求8所述的会议终端，其特征在于：

所述会议终端包括至少有两个声道的编码器；

所述配置模块，具体用于配置各声道的语种信息；

所述通知模块，用于根据各声道的语种信息配置，通知多点控制单元所述语种信息。

13.如权利要求8-12任一项所述的会议终端，其特征在于，还包括：

选择模块，用于选择所述会议终端收听的语种；

所述通知模块，还用于通知多点控制单元所述会议终端选择收听的语种。

14.如权利要求13所述的会议终端，其特征在于：所述通知模块，还用于通过信令通知多点控制单元所述会议终端选择收听的语种。

Images