CN102404543B - 级联会议中级联会场的处理方法、装置及级联会议系统 - Google Patents

级联会议中级联会场的处理方法、装置及级联会议系统 Download PDF

Info

Publication number
CN102404543B
CN102404543B CN201010281163.3A CN201010281163A CN102404543B CN 102404543 B CN102404543 B CN 102404543B CN 201010281163 A CN201010281163 A CN 201010281163A CN 102404543 B CN102404543 B CN 102404543B
Authority
CN
China
Prior art keywords
media data
place
meeting
cascaded site
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201010281163.3A
Other languages
English (en)
Other versions
CN102404543A (zh
Inventor
梁丽燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Device Co Ltd
Huawei Device Shenzhen Co Ltd
Original Assignee
Huawei Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Device Co Ltd filed Critical Huawei Device Co Ltd
Priority to CN201010281163.3A priority Critical patent/CN102404543B/zh
Priority to PCT/CN2011/078986 priority patent/WO2012034476A1/zh
Publication of CN102404543A publication Critical patent/CN102404543A/zh
Application granted granted Critical
Publication of CN102404543B publication Critical patent/CN102404543B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1827—Network arrangements for conference optimisation or adaptation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H04N21/4355—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen
    • H04N21/4358—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen for generating different versions, e.g. for different peripheral devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4398—Processing of audio elementary streams involving reformatting operations of audio signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H04L65/4038—Arrangements for multi-party communication, e.g. for conferences with floor control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Telephonic Communication Services (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明涉及通信技术领域，公开了一种级联会议中级联会场的处理方法、装置及级联会议系统；其中，级联会议中级联会场的处理方法包括：接收普通会场发送的媒体码流；对所述媒体码流进行解码获得普通会场媒体数据；从候选媒体数据中选择媒体数据进行混音，以获得需要发送的级联会场媒体数据，其中，所述候选媒体数据至少包括所述普通会场媒体数据；向第一级联会场直接发送所述需要发送的级联会场媒体数据。使用本发明，可以减少级联会场中一个MCU连接的普通会场听到的另一个MCU连接的普通会场的声音的编解码次数，从而减少音质损伤，提高与会者的用户体验。

Description

级联会议中级联会场的处理方法、装置及级联会议系统
技术领域
本发明涉及通信技术领域，具体涉及一种级联会议中级联会场的处理方法、装置及级联会议系统。
背景技术
一般的音频/视频会议中，通常是一个多点控制单元(MCU：MultiController Unit)下的普通会场间开会，即会议中的普通会场都是连接在同一个MCU上的。但随着会议容量的增加或者是组网的越来越复杂，这就需要召开级联会议，即不仅每个MCU下的普通会场入会，并且多个MCU间通过级联会场把多个MCU的会议连成一个会议，这样就达到了多个MCU的普通会场一起开会的目的。例如某系统需要召开全国会议，其在北京、各省会、各地市、各县均有MCU及普通会场，这样就可以召开一个全国范围内的级联会议，分别在北京、各省会、各地市安排MCU，各普通会场分别连接到所属的MCU即可。由于参会普通会场众多，这样可以节省用一个MCU的容量要求，并且，各普通会场只需要连接最近的MCU，减少对网络的要求。
如下举具体实例对现有的一种级联会议中级联会场的处理方法进行描述，级联会场有3个MCU，分别是MCU1、MCU2和MCU3，MCU1与MCU2连接，MCU2同时与MCU3连接。
其中，MCU1连接有3个普通会场，分别是T1、T2和T3，同时MCU2作为MCU1的级联会场也与MCU1连接，在MCU1上假设MCU2为T21。
MCU2连接有3个普通会场，分别是T4、T5和T6，同时MCU1作为MCU2的级联会场也与MCU2连接，在MCU2上假设MCU1为T12，MCU3也作为MCU2的级联会场与MCU2连接，在MCU2上假设MCU3为T32。
MCU3连接有3个普通会场，分别是T7、T8和T9，同时MCU2作为MCU3的级联会场也与MCU3连接，在MCU3上假设MCU2为T23。
每个MCU都是支持最大三方混音，即MCU从所连接的所有会场(包括普通会场和级联会场)中最多选择声音最大的三个会场的媒体数据进行混音，如果连接的会场不到三个，则会选择连接的所有的会场的数据进行混音。
MCU1接收到各个会场(包括普通会场和级联会场)发送的媒体码流后，对媒体码流进行解码，获得媒体数据；选择声音最大的3个会场的媒体数据进行混音，假设MCU1上声音最大的3个会场是T1、T2和T3，则MCU1获得的级联会场媒体数据为T1、T2和T3的数据和，将T1、T2和T3的数据和进行编码后作为T12的媒体码流发送给MCU2。
MCU2接收到各个会场(包括普通会场和级联会场)发送的媒体码流后，对媒体码流进行解码，获得媒体数据；选择声音最大的3个会场的媒体码流进行混音，假设MCU2上声音最大的3个会场是T12、T4和T5，则MCU2获得的级联会场媒体数据是T1、T2、T3、T4和T5的数据和，将T1、T2、T3、T4和T5的数据和进行编码后作为T23的媒体码流发送给MCU3。
从上可以看出，级联会场中一个MCU连接的普通会场如果要听到另一个MCU连接的普通会场的声音，该声音需要经过多个MCU的多次编解码，而每一次编解码都会损伤音质，因此级联会场的级联级数越多音质损伤也就越多，例如T1的数据需要分别经过MCU1、MCU2和MCU3的编解码后才到被T9听到，而音质的损伤会大大降低与会者的用户体验。
发明内容
本发明实施例提供了一种级联会议中级联会场的处理方法、装置及级联会议系统，可以减少级联会场中一个MCU连接的普通会场听到的另一个MCU连接的普通会场的声音的编解码次数，从而减少音质损伤，提高与会者的用户体验。
本发明一个实施例提供了一种级联会议中级联会场的处理方法，包括：
接收普通会场发送的媒体码流；
对所述媒体码流进行解码获得普通会场媒体数据；
从候选媒体数据中选择媒体数据进行混音，以获得需要发送的级联会场媒体数据，其中，所述候选媒体数据至少包括所述普通会场媒体数据；
向第一级联会场直接发送所述需要发送的级联会场媒体数据。
本发明另一个实施例提供了一种级联会议中级联会场的处理装置，包括：
接收单元，用于接收普通会场发送的媒体码流；
解码单元，用于对所述接收单元接收的媒体码流进行解码获得普通会场媒体数据；
混音单元，用于从候选媒体数据中选择媒体数据进行混音，以获得需要发送的级联会场媒体数据，其中，所述候选媒体数据包括所述解码单元解码获得的普通会场媒体数据；
发送单元，用于向第一级联会场直接发送所述混音单元获得的需要发送的级联会场媒体数据。
本发明另一个实施例提供了一种级联会议系统，包括本发明实施例提供的级联会议中级联会场的处理装置。
从本发明实施例提供的以上技术方案可以看出，由于本发明实施例中级联会议中级联会场的处理装置在从媒体数据中选择媒体数据进行混音，获得需要发送的级联会场媒体数据后，不会对需要发送的级联会场媒体数据进行编码，而是向第一级联会场直接发送需要发送的级联会场媒体数据，从而可以减少媒体数据在级联会议中级联会场的处理装置中的编解码次数，可以减少媒体数据在各个级联会议中级联会场的处理装置之间传送的时延，同时也可以减少音质损伤，提高与会者的用户体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一个实施例提供的级联会议中级联会场的处理方法流程图；
图2为本发明一个实施例提供的一个视频会议中级联会场的结构图；
图3为本发明另一个实施例提供的一个视频会议中级联会场的结构图；
图4为本发明另一个实施例提供的一个视频会议中级联会场的结构图；
图5为本发明一个实施例提供的级联会议中级联会场的处理装置结构图；
图6为本发明另一个实施例提供的级联会议中级联会场的处理装置结构图；
图7为本发明另一个实施例提供的级联会议中级联会场的处理装置结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
先介绍本发明实施例提供的级联会议中级联会场的处理方法，图1描述了本发明一个实施例提供的级联会议中级联会场的处理方法的流程，该实施例描述的是级联会议中级联会场的处理装置的处理流程，该级联会议中级联会场的处理装置与至少一个第一级联会场连接，该级联会议中级联会场的处理装置可以向第一级联会场发送混音获得的需要发送的级联会场媒体数据；该级联会议中级联会场的处理装置也可以与至少一个第二级联会场连接，该级联会议中级联会场的处理装置可以接收到第二级联会场直接发送的级联会场媒体数据。该实施例包括如下步骤。
101、接收普通会场发送的媒体码流。
具体可以接收与级联会议中级联会场的处理装置直接连接的普通会场发送的媒体码流，普通会场发送给级联会议中级联会场的处理装置的媒体码流可以是经过编码的，每一个普通会场发送一个媒体码流。其中，媒体可以是音频和/或视频。
102、对媒体码流进行解码获得普通会场媒体数据。
其中，在本发明的一个实施例中，获得了普通会场媒体数据后，可以进一步计算获得的普通会场媒体数据的包络，从而可以根据普通会场媒体数据的包络确定普通会场媒体数据的音量，具体地，在本发明的一个实施例中，可以直接根据包络的大小确定普通会场媒体数据的音量大小，包络越大则表示普通会场媒体数据的音量越大。
103、从候选媒体数据中选择媒体数据进行混音，以获得需要发送的级联会场媒体数据，候选媒体数据至少包括从媒体码流解码获得的普通会场媒体数据，其中，选择的普通会场媒体数据的数量少于或等于预定数量。
其中，预定数量是预先设定的，具体根据级联会议中级联会场的处理装置进行几方混音确定，例如级联会议中级联会场的处理装置支持进行2方混音，则预定数量为2；级联会议中级联会场的处理装置支持进行3方混音，则预定数量为3。例如在级联会议中级联会场的处理装置支持3方混音时，如果级联会议中级联会场的处理装置连接的会场(包括普通会场和级联会场)的数量大于或等于3个，则在混音时可以选择音量最大的3个媒体数据进行混音，如果在级联会议中级联会场的处理装置连接的会场少于3个时，则在混音时只能选择少于3个的媒体数据进行混音。
在本发明的一个实施例中，具体是按照普通会场媒体数据的音量从大到小的顺序从普通会场媒体数据中选择媒体数据进行混音。在本发明的一个实施例中，普通会场媒体数据的音量可以根据普通会场媒体数据的包络确定。
在本发明的一个实施例中，级联会议中级联会场的处理装置在从普通会场媒体数据中选择媒体数据进行混音前，可能会接收到第二级联会场直接发送的级联会场媒体数据，该级联会场媒体数据是没有经过编码的，此时，候选媒体数据包括了从媒体码流解码获得的普通会场媒体数据以及第二级联会场直接发送的级联会场媒体数据，因此级联会议中级联会场的处理装置可以从解码获得的普通会场媒体数据，以及第二级联会场直接发送的级联会场媒体数据中选择媒体数据进行混音。
在本发明的另一个实施例中，级联会议中级联会场的处理装置在从普通会场媒体数据中选择媒体数据进行混音前，可能会接收到第二级联会场直接发送的级联会场媒体数据，该第二级联会场直接发送的级联会场媒体数据包括第二级联会场中音量最大的会场的媒体数据的包络，该音量最大的会场可以是普通会场，也可以是级联会场；此时，候选媒体数据包括了从媒体码流解码获得的普通会场媒体数据以及第二级联会场直接发送的级联会场媒体数据，因此级联会议中级联会场的处理装置可以根据解码获得的各个普通会场媒体数据计算获得各个普通会场媒体数据的包络，再根据计算得到的普通会场媒体数据的包络以及接收的第二级联会场中音量最大的会场的媒体数据的包络，从解码获得的普通会场媒体数据以及第二级联会场直接发送的级联会场媒体数据中选择媒体数据进行混音。其中，具体可以根据普通会场媒体数据的包络确定普通会场媒体数据的音量，根据第二级联会场中音量最大的会场的媒体数据的包络确定第二级联会场直接发送的级联会场媒体数据的音量，从而按照音量从大到小的顺序从获得的普通会场媒体数据，以及第二级联会场直接发送的级联会场媒体数据中选择媒体数据进行混音。由于级联会议中级联会场的处理装置只使用第二级联会场发送的级联会场媒体数据中音量最大的会场的包络进行比较，因此可以保证该级联会议中级联会场的处理装置所连接的普通会场中声音最大的普通会场的媒体流数据也可以参加混音，从而可以使该级联会议中级联会场的处理装置所连接的普通会场中声音最大的普通会场的声音可以被与会者听到。
104、向第一级联会场直接发送需要发送的级联会场媒体数据。
在混音获得了需要发送的级联会场媒体数据后，不需要对需要发送的级联会场媒体数据进行编码，而是直接向第一级联会场发送。其中，在本发明的一个实施例中，向第一级联会场直接发送需要发送的级联会场媒体数据时，可以进一步发送选择的媒体数据中音量最大的会场的媒体数据的包络，其中，音量最大的会场可以是普通会场，也可以是级联会场。
其中，第一级联会场是直接与级联会议中级联会场的处理装置连接的级联会场；在向第一级联会场直接发送需要发送的级联会场媒体数据时，具体可以向第一级联会场对应的级联会议中级联会场的处理装置发送。
从上可知，本实施例中级联会议中级联会场的处理装置在从媒体数据中选择媒体数据进行混音，获得需要发送的级联会场媒体数据后，不会对需要发送的级联会场媒体数据进行编码，而是向第一级联会场直接发送需要发送的级联会场媒体数据，从而可以减少媒体数据在级联会议中级联会场的处理装置中的编解码次数，可以减少媒体数据在各个级联会议中级联会场的处理装置之间传送的时延，同时还可以减少级联会场中一个级联会议中级联会场的处理装置连接的普通会场听到的另一个级联会议中级联会场的处理装置连接的普通会场的声音的编解码次数，从而减少音质损伤，提高与会者的用户体验。
如下举具体实例对本发明实施例进行描述，图2描述了本发明一个实施例提供的一个视频会议中级联会场的结构，如图2所示：
级联会场有3个MCU，分别是MCU1、MCU2和MCU3，其中，MCU1与MCU2连接，MCU2同时与MCU3连接。
其中，MCU1连接有3个普通会场，分别是T1、T2和T3，同时MCU2作为MCU1的级联会场也与MCU1连接；MCU2连接有3个普通会场，分别是T4、T5和T6，同时MCU1作为MCU2的级联会场也与MCU2连接，MCU3也作为MCU2的级联会场与MCU2连接；MCU3连接有3个普通会场，分别是T7、T8和T9，同时MCU2作为MCU3的级联会场也与MCU3连接。每个MCU都是支持最大二方混音，即MCU从所连接的所有会场(包括普通会场和级联会场)中选择声音最大的二个会场的媒体数据进行混音。
MCU1可以接收到T1、T2和T3发送的媒体码流以及MCU2发送的级联会场媒体数据，对T1、T2和T3发送的媒体码流分别进行解码获得T1、T2和T3对应的普通会场媒体数据，本实施例不描述向T1、T2和T3发送级联会场媒体数据的过程，只描述MCU1向MCU2发送级联会场媒体数据的过程。由于是对发送至MCU2的媒体数据进行混音，因此MCU1接收到的由MCU2发送的级联会场媒体数据不会参加发送至MCU2的级联会场媒体数据的混音，因此对应MCU2的候选媒体数据包括T1、T2和T3对应的普通会场媒体数据，MCU1从T1、T2和T3对应的普通会场媒体数据中选择音量最大的2个媒体数据进行混音，假设选择的是是T1和T2对应的普通会场媒体数据，则MCU1对T1对应的普通会场媒体数据和T2对应的普通会场媒体数据进行混音，获得需要发送的级联会场媒体数据T1+T2，MCU1直接将需要发送的级联会场媒体数据T1+T2发送给MCU2。其中，可以在该需要发送的级联会场媒体数据中携带包络，具体地，可以携带T1对应的普通会场媒体数据的包络或T2对应的普通会场媒体数据的包络，具体可以携带T1对应的普通会场媒体数据和T2对应的媒普通会场体数据中音量大的一个媒体数据的包络。
MCU2和MCU3的处理过程与MCU1的处理过程类似，不再赘述。
从上可知，本实施例中MCU在从媒体数据中选择媒体数据进行混音，获得级联会场媒体数据后，不会对级联会场媒体数据进行编码，而是向第一级联会场或其它MCU直接发送级联会场媒体数据，从而可以减少媒体数据在MCU中的编解码次数，可以减少媒体数据在各个MCU之间传送的时延，同时也可以减少音质损伤，提高与会者的用户体验。
如下举具体实例对本发明实施例进行描述，图3描述了本发明另一个实施例提供的一个视频会议中级联会场的结构，该实施例描述的是MCU向所有的MCU发送级联会场媒体数据的情况，如图3所示：
级联会场有3个MCU，分别是MCU1、MCU2和MCU3，MCU1同时与MCU2和MCU3连接，MCU2与MCU3连接。其中，MCU1连接有2个普通会场，分别是T1和T2；MCU2连接有2个普通会场，分别是T3和T4；MCU3连接有2个普通会场，分别是T5和T6。每个MCU都是最大二方混音，即MCU从所连接的所有会场(包括普通会场和级联会场)中选择声音最大的二个会场的数据进行混音。
MCU1可以接收到T1和T2发送的媒体码流，以及MCU2发送的级联会场媒体数据T3+T4，以及MCU3发送的级联会场媒体数据T5+T6。MCU1对T1和T2发送的媒体码流分别进行解码获得T1和T2对应的普通会场媒体数据，本实施例不描述向T1和T2发送级联会场媒体数据的过程，只描述MCU1向MCU2发送级联会场媒体数据的过程。由于是对发送至MCU2的媒体数据进行混音，因此MCU1接收到的由MCU2和MCU3发送的级联会场媒体数据都不会参加混音(其中，由于T3+T4由MCU2发送给MCU1，因此MCU1不需要再向MCU2发送包括T3+T4的级联会场媒体数据；同样，由于MCU3已经将T5+T6发送给了MCU2，因此也不需要向MCU2发送包括T5+T6的级联会场媒体数据)，由于MCU1只连接了T1和T2，因此对应MCU2的候选媒体数据包括T1和T2对应的普通会场媒体数据，MCU1对T1对应的普通会场媒体数据和T2对应的普通会场媒体数据进行混音，获得需要发送的级联会场媒体数据T1+T2，MCU1直接将需要发送的级联会场媒体数据T1+T2发送给MCU2和MCU3。其中，可以在该需要发送的级联会场媒体数据中携带包络，具体地，可以携带T1对应的普通会场媒体数据的包络或T2对应的普通会场媒体数据的包络，具体可以携带T1对应的普通会场媒体数据和T2对应的普通会场媒体数据中音量大的一个媒体数据的包络。
如图3所示，与MCU1的处理同理，MCU2直接将需要发送的级联会场媒体数据T3+T4发送给MCU1和MCU3，MCU3直接将需要发送的级联会场媒体数据T5+T6发送给MCU1和MCU2。
从上可知，本实施例中MCU在从媒体数据中选择媒体数据进行混音，获得级联会场媒体数据后，不会对级联会场媒体数据进行编码，而是向第一级联会场或其它MCU直接发送级联会场媒体数据，从而可以减少媒体数据在MCU中的编解码次数，可以减少媒体数据在各个MCU之间传送的时延，同时还可以减少级联会场中一个MCU连接的普通会场听到的另一个MCU连接的普通会场的声音的编解码次数，从而减少音质损伤，提高与会者的用户体验；同时，由于MCU都是向所有的MCU发送级联会场的媒体数据，从而使声音大的普通会场的媒体数据可以同时在各个MCU进行混音，从而进一步减少媒体数据在各个MCU之间传送的时延。
如下举具体实例对本发明实施例进行描述，图4描述了本发明另一个实施例提供的一个视频会议中级联会场的结构，如图4所示：
级联会场有5个MCU，分别是MCU1、MCU2、MCU3、MCU4和MCU5，其中，MCU1是最顶级MCU，与MCU2、MCU3、MCU4和MCU5都有连接，MCU2与下属的MCU3连接，MCU4与下属的MCU5连接。其中，MCU1连接有2个普通会场，分别是T1和T2；MCU2连接有2个普通会场，分别是T5和T6；MCU3连接有2个普通会场，分别是T7和T8；MCU4连接有2个普通会场，分别是T3和T4；MCU5连接有2个普通会场，分别是T9和T10。每个MCU都支持最大二方混音，即MCU从所连接的所有会场(包括普通会场和级联会场)中选择声音最大的二个会场的数据进行混音。
由于MCU1是最顶级MCU，因此MCU2、MCU3、MCU4和MCU5都会将级联会场媒体数据发送给MCU1，如图4所示，MCU2发送给MCU1的级联会场媒体数据为T5+T6；MCU3发送给MCU1的级联会场媒体数据为T7+T8；MCU4发送给MCU1的级联会场媒体数据为T3+T4；MCU5发送给MCU1的级联会场媒体数据为T9+T10。同时，MCU2、MCU3、MCU4和MCU5还会向除最顶级MCU外的其他相连的MCU发送级联会场媒体数据。
MCU1对接收到的普通会场媒体数据(T1和T2发送)以及级联会场媒体数据(MCU2、MCU3、MCU4和MCU5发送)中选择媒体数据进行混音，其中MCU1不会向MCU2发送MCU2发送的级联会场媒体数据以及MCU3(MCU2的下属MCU)发送的级联会场媒体数据所包括的媒体数据，因此对应MCU2的候选媒体数据包括T1和T2对应的普通会场媒体数据以及MCU4和MCU5发送的级联会场媒体数据，MCU1在对发送给MCU2的媒体数据进行混音时，只会从T1和T2发送的媒体数据以及MCU4和MCU5发送的级联会场媒体数据中选择二个音量大的媒体数据进行混音，如图4所示，本实施例假设MCU1选择的音量最大的两个媒体数据是T1发送的普通会场媒体数据以及MCU5发送的级联会场媒体数据，因此MCU1发送给MCU2的级联会场媒体数据是T1+T9+T10；然后MCU2从接收的级联会场媒体数据T1+T9+10，以及T5发送的普通会场媒体数据和T6发送的普通会场媒体数据中选择两个音量最大的媒体数据进行混音发送给MCU3，如图4所示，本实施例假设MCU2发送给MCU3的级联会场媒体数据是T1+T5+T9+T10。
与MCU1发送给MCU2的级联会场媒体数据的处理类似，如图4所示，本实施例假设MCU1发送给MCU4的级联会场媒体数据是T1+T7+T8；与MCU2发送给MCU3的级联会场媒体数据的处理类似，如图4所示，本实施例假设MCU4发送给MCU5的级联会场媒体数据时T1+T3+T7+T8。
从上可知，本实施例中MCU在从媒体数据中选择媒体数据进行混音，获得级联会场媒体数据后，不对级联会场媒体数据进行编码，而是向级联会场直接发送级联会场媒体数据，从而可以减少媒体数据在MCU中的编解码次数，可以减少媒体数据在各个MCU之间传送的时延，同时还可以减少级联会场中一个MCU连接的普通会场听到的另一个MCU连接的普通会场的声音的编解码次数，从而减少音质损伤，提高与会者的用户体验；同时，由于MCU都向最顶级MCU发送级联会场的媒体数据，从而使声音大的普通会场的媒体数据可以同时在最顶级MCU进行混音，从而进一步减少媒体数据在各个MCU之间传送的时延。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
如下再介绍本发明实施例提供的级联会议中级联会场的处理装置，本发明实施例提供的级联会议中级联会场的处理装置可以作为MCU使用。
图5描述了本发明一个实施例提供的级联会议中级联会场的处理装置的结构，该级联会议中级联会场的处理装置与至少一个第一级联会场连接，该级联会议中级联会场的处理装置可以向第一级联会场发送混音获得的需要发送的级联会场媒体数据。该实施例包括：
接收单元501，用于接收普通会场发送的媒体码流。
解码单元502，用于对接收单元501接收的媒体码流进行解码获得普通会场媒体数据。
混音单元503，用于从候选媒体数据中选择媒体数据进行混音，获得需要发送的级联会场媒体数据，候选媒体数据包括解码单元502解码获得的普通会场媒体数据，其中，选择的媒体数据的数量少于或等于预定数量。
发送单元504，用于向第一级联会场直接发送混音单元503获得的需要发送的级联会场媒体数据。
进一步，在本发明的一个实施例中，发送单元504向级联会场直接发送混音单元503获得的需要发送的级联会场媒体数据时，可以进一步发送混音单元503选择的媒体数据中音量最大的媒体数据的包络。
从上可知，本实施例中级联会议中级联会场的处理装置在从媒体数据中选择媒体数据进行混音，获得需要发送的级联会场媒体数据后，不会对需要发送的级联会场媒体数据进行编码，而是向第一级联会场直接发送需要发送的级联会场媒体数据，从而可以减少媒体数据在级联会议中级联会场的处理装置中的编解码次数，可以减少媒体数据在各个级联会议中级联会场的处理装置之间传送的时延，同时也可以减少音质损伤，提高与会者的用户体验。
图6描述了本发明另一个实施例提供的级联会议中级联会场的处理装置的结构，该级联会议中级联会场的处理装置与至少一个第一级联会场连接，该级联会议中级联会场的处理装置可以向第一级联会场发送混音获得的需要发送的级联会场媒体数据；该级联会议中级联会场的处理装置也可以与至少一个第二级联会场连接，该级联会议中级联会场的处理装置可以接收到第二级联会场直接发送的级联会场媒体数据。该实施例包括：
接收单元601，用于接收普通会场发送的媒体码流；接收第二级联会场直接发送的级联会场媒体数据。
解码单元602，用于对接收单元601接收的媒体码流进行解码获得普通会场媒体数据。
混音单元603，用于从候选媒体数据中选择媒体数据进行混音，以获得需要发送的级联会场媒体数据，候选媒体数据包括解码单元602获得的普通会场媒体数据以及接收单元601接收的级联会场媒体数据，其中选择的媒体数据的数量少于或等于预定数量。
发送单元604，用于向第一级联会场直接发送混音单元603获得的需要发送的级联会场媒体数据。
从上可知，本实施例中级联会议中级联会场的处理装置在从媒体数据中选择媒体数据进行混音，获得需要发送的级联会场媒体数据后，不会对需要发送的级联会场媒体数据进行编码，而是向第一级联会场直接发送需要发送的级联会场媒体数据，从而可以减少媒体数据在级联会议中级联会场的处理装置中的编解码次数，可以减少媒体数据在各个级联会议中级联会场的处理装置之间传送的时延，同时也可以减少音质损伤，提高与会者的用户体验；同时，由于级联会议数据发生装置都是向所有的级联会议数据发生装置发送需要发送的级联会场的媒体数据，从而使声音大的普通会场的媒体数据可以同时在各个级联会议数据发生装置进行混音，从而进一步减少媒体数据在各个级联会议数据发生装置之间传送的时延。
图7描述了本发明另一个实施例提供的级联会议中级联会场的处理装置的结构，该级联会议中级联会场的处理装置与至少一个第一级联会场连接，该级联会议中级联会场的处理装置可以向第一级联会场发送混音获得的需要发送的级联会场媒体数据；该级联会议中级联会场的处理装置也可以与至少一个第二级联会场连接，该级联会议中级联会场的处理装置可以接收到第二级联会场直接发送的级联会场媒体数据。该实施例包括：
接收单元701，用于接收普通会场发送的媒体码流；接收第二级联会场直接发送的级联会场媒体数据，第二级联会场直接发送的级联会场媒体数据包括第二级联会场中音量最大的会场的媒体数据的包络。
解码单元702，用于对接收单元701接收的媒体码流进行解码获得普通会场媒体数据。
计算单元703，用于计算解码单元702解码获得的普通会场媒体数据的包络。
混音单元704，用于根据计算单元703获得的普通会场媒体数据的包络，以及第二级联会场中音量最大的会场的媒体数据的包络，从候选媒体数据中选择媒体数据进行混音，以获得需要发送的级联会场媒体数据，候选媒体数据包括解码单元702获得的普通会场媒体数据以及接收单元701接收的级联会场媒体数据，其中选择的媒体数据的数量少于或等于预定数量。
发送单元705，用于向第一级联会场直接发送混音单元704获得的需要发送的级联会场媒体数据。
进一步，在本发明的一个实施例中，发送单元705向级联会场直接发送混音单元704获得的需要发送的级联会场媒体数据时，可以进一步发送混音单元704选择的媒体数据中音量最大的媒体数据的包络。
从上可知，本实施例中级联会议中级联会场的处理装置在从媒体数据中选择媒体数据进行混音，获得需要发送的级联会场媒体数据后，不会对需要发送的级联会场媒体数据进行编码，而是向第一级联会场直接发送需要发送的级联会场媒体数据，从而可以减少媒体数据在级联会议中级联会场的处理装置中的编解码次数，可以减少媒体数据在各个级联会议中级联会场的处理装置之间传送的时延，同时也可以减少音质损伤，提高与会者的用户体验；同时，由于级联会议数据发生装置都向最顶级级联会议数据发生装置发送需要发送的级联会场的媒体数据，从而使声音大的普通会场的媒体数据可以同时在最顶级级联会议数据发生装置进行混音，从而进一步减少媒体数据在各个级联会议数据发生装置之间传送的时延。
本发明实施例还提供了级联会议系统，该级联会议系统包括本发明实施例提供的级联会议中级联会场的处理装置。
其中，在本发明的一个实施例中，级联会议系统包括至少三个级联会议中级联会场的处理装置，该至少三个级联会议中级联会场的处理装置中任意两个级联会议中级联会场的处理装置均直接连接，具体结构如图3所示，MCU1同时与MCU2和MCU3连接，MCU2同时也与MCU3连接。
在本发明的另一个实施例中，级联会议系统包括至少三个级联会议中级联会场的处理装置，该至少三个级联会议中级联会场的处理装置中包括一个最顶级级联会议中级联会场的处理装置，除最顶级级联会议中级联会场的处理装置外的其他级联会议中级联会场的处理装置只与一个上层级联会议中级联会场的处理装置连接，与至少一个下层级联会议中级联会场的处理装置连接，具体结构可以如图2所示，MCU1是最顶级MCU，MCU2的上层MCU是MCU1，MCU2的下层MCU是MCU3，MCU3的上层MCU是MCU2。
在本发明的另一个实施例中，级联会议系统包括至少四个级联会议中级联会场的处理装置，该至少四个级联会议中级联会场的处理装置中包括一个最顶级级联会议中级联会场的处理装置，除最顶级级联会议中级联会场的处理装置外的其他级联会议中级联会场的处理装置只与一个上层级联会议中级联会场的处理装置连接，与至少一个下层级联会议中级联会场的处理装置连接，如果一个下层级联会议中级联会场的处理装置的上层级联会议中级联会场的处理装置不是最顶级级联会议中级联会场的处理装置，则该一个下层级联会议中级联会场的处理装置也与最顶级级联会议中级联会场的处理装置连接。具体结构可以如图4所示，在图4中，MCU1是最顶级级联会议中级联会场的处理装置，MCU2和MCU4的上层MCU是MCU1，MCU2的下层MCU是MCU3(即MCU3的上层MCU是MCU2)，MCU4的下层MCU是MCU5(即MCU5的上层MCU是MCU4)；由于MCU3的上层MCU不是MCU1，因此MCU3也与MCU1连接，由于MCU5的上层MCU不是MCU1，因此MCU5也与MCU1连接。
上述装置和系统内的各模块之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，上述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，上述的存储介质可为磁碟、光盘、只读存储记忆体(ROM：Read-Only Memory)或随机存储记忆体(RAM：Random Access Memory)等。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种级联会议中级联会场的处理方法，其特征在于，包括：
接收普通会场发送的媒体码流；
对所述媒体码流进行解码获得普通会场媒体数据；
计算获得的普通会场媒体数据的包络；
接收第二级联会场直接发送的级联会场媒体数据，所述第二级联会场直接发送的级联会场媒体数据包括所述第二级联会场中音量最大的会场的媒体数据的包络；
根据所述计算获得的普通会场媒体数据的包络，以及所述第二级联会场中音量最大的会场的媒体数据的包络，从候选媒体数据中选择媒体数据进行混音，以获得需要发送的级联会场媒体数据，其中，所述候选媒体数据包括所述普通会场媒体数据以及所述第二级联会场直接发送的级联会场媒体数据；
向第一级联会场直接发送所述需要发送的级联会场媒体数据。
2.如权利要求1所述的级联会议中级联会场的处理方法，其特征在于，向第一级联会场直接发送所述需要发送的级联会场媒体数据时，进一步发送所述选择的媒体数据中音量最大的媒体数据的包络。
3.如权利要求1或2所述的级联会议中级联会场的处理方法，其特征在于，所述媒体为音频或视频。
4.一种级联会议中级联会场的处理装置，其特征在于，包括：
接收单元，用于接收普通会场发送的媒体码流；
解码单元，用于对所述接收单元接收的媒体码流进行解码获得普通会场媒体数据；
混音单元，用于从候选媒体数据中选择媒体数据进行混音，以获得需要发送的级联会场媒体数据；
发送单元，用于向第一级联会场直接发送所述混音单元获得的需要发送的级联会场媒体数据；
其中，所述候选媒体数据包括所述普通会场媒体数据以及第二级联会场直接发送的级联会场媒体数据；
所述处理装置还包括：
计算单元，用于计算所述解码单元解码获得的普通会场媒体数据的包络；
所述接收单元，还用于接收第二级联会场直接发送的级联会场媒体数据，所述第二级联会场直接发送的级联会场媒体数据包括所述第二级联会场中音量最大的会场的媒体数据的包络；
所述混音单元，用于根据所述计算单元获得的普通会场媒体数据的包络，以及所述第二级联会场中音量最大的会场的媒体数据的包络，从解码单元获得的普通会场媒体数据，以及所述接收单元接收的第二级联会场直接发送的级联会场媒体数据中选择媒体数据进行混音。
5.如权利要求4所述的级联会议中级联会场的处理装置，其特征在于，所述发送单元向第一级联会场直接发送所述需要发送的级联会场媒体数据时，进一步发送所述混音单元选择的媒体数据中音量最大的媒体数据的包络。
6.一种级联会议系统，其特征在于，包括如权利要求4或5所述的级联会议中级联会场的处理装置。
7.如权利要求6所述的级联会议系统，其特征在于，包括至少三个级联会议中级联会场的处理装置，所述至少三个级联会议中级联会场的处理装置中任意两个级联会议中级联会场的处理装置均直接连接。
8.如权利要求6所述的级联会议系统，其特征在于，包括至少三个级联会议中级联会场的处理装置，所述至少三个级联会议中级联会场的处理装置中包括一个最顶级级联会议中级联会场的处理装置，除最顶级级联会议中级联会场的处理装置外的其他级联会议中级联会场的处理装置只与一个上层级联会议中级联会场的处理装置连接，与至少一个下层级联会议中级联会场的处理装置连接。
9.如权利要求8所述的级联会议系统，其特征在于，包括至少四个级联会议中级联会场的处理装置；
如果一个下层级联会议中级联会场的处理装置的上层级联会议中级联会场的处理装置不是最顶级级联会议中级联会场的处理装置，所述一个下层级联会议中级联会场的处理装置也与所述最顶级级联会议中级联会场的处理装置连接。
CN201010281163.3A 2010-09-13 2010-09-13 级联会议中级联会场的处理方法、装置及级联会议系统 Active CN102404543B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201010281163.3A CN102404543B (zh) 2010-09-13 2010-09-13 级联会议中级联会场的处理方法、装置及级联会议系统
PCT/CN2011/078986 WO2012034476A1 (zh) 2010-09-13 2011-08-26 级联会议中级联会场的处理方法、装置及级联会议系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201010281163.3A CN102404543B (zh) 2010-09-13 2010-09-13 级联会议中级联会场的处理方法、装置及级联会议系统

Publications (2)

Publication Number Publication Date
CN102404543A CN102404543A (zh) 2012-04-04
CN102404543B true CN102404543B (zh) 2014-01-01

Family

ID=45831002

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010281163.3A Active CN102404543B (zh) 2010-09-13 2010-09-13 级联会议中级联会场的处理方法、装置及级联会议系统

Country Status (2)

Country Link
CN (1) CN102404543B (zh)
WO (1) WO2012034476A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NO336217B1 (no) * 2012-12-21 2015-06-15 Pexip AS Fremgangsmåte, datamaskinprogram og system for håndtering av mediestrømmer i videokonferanser.
CN103680508B (zh) * 2013-12-09 2018-03-16 Tcl集团股份有限公司 多级混音的动态分配方法及动态分配装置
CN104009991B (zh) * 2014-05-28 2017-09-01 广州华多网络科技有限公司 音频通信系统和方法
CN104469262A (zh) * 2014-12-26 2015-03-25 国家电网公司 一种视频会议一体化系统
CN106331579A (zh) * 2015-07-02 2017-01-11 三亚中兴软件有限责任公司 多媒体会议的接入方法、装置、系统和多点控制单元
US10701117B1 (en) 2017-06-02 2020-06-30 Amdocs Development Limited System, method, and computer program for managing conference calls between a plurality of conference call systems
CN111200717A (zh) * 2019-12-31 2020-05-26 苏州科达科技股份有限公司 级联会议的混音方法、装置、电子设备及介质
CN114974273B (zh) * 2021-08-10 2023-08-15 中移互联网有限公司 一种会议音频混音方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1953537A (zh) * 2006-11-23 2007-04-25 北京航空航天大学 多mcu视频会议系统中的混音方法
CN101388997A (zh) * 2008-10-22 2009-03-18 杭州华三通信技术有限公司 一种建立视频会议的方法和系统
CN101471804A (zh) * 2007-12-28 2009-07-01 华为技术有限公司 一种音频处理方法、系统和控制服务器

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8289368B2 (en) * 2008-12-15 2012-10-16 Avaya Inc. Intelligent grouping and synchronized group switching for multimedia conferencing
CN101998105B (zh) * 2009-08-31 2013-06-12 华为终端有限公司 媒体控制服务器级联系统及控制多媒体码流的方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1953537A (zh) * 2006-11-23 2007-04-25 北京航空航天大学 多mcu视频会议系统中的混音方法
CN101471804A (zh) * 2007-12-28 2009-07-01 华为技术有限公司 一种音频处理方法、系统和控制服务器
CN101388997A (zh) * 2008-10-22 2009-03-18 杭州华三通信技术有限公司 一种建立视频会议的方法和系统

Also Published As

Publication number Publication date
CN102404543A (zh) 2012-04-04
WO2012034476A1 (zh) 2012-03-22

Similar Documents

Publication Publication Date Title
CN102404543B (zh) 级联会议中级联会场的处理方法、装置及级联会议系统
KR101617906B1 (ko) 다중 비트 전송률 스트림을 사용한 영상 회의 구독
CN102547210B (zh) 级联会议中级联会场的处理方法、装置及系统
CN101179693B (zh) 一种会议电视系统的混音处理方法
CN102318373A (zh) 解码装置、编解码装置及解码方法
CN104871566A (zh) 协作式声音系统
CN103050124B (zh) 混音方法、装置及系统
CN101960865A (zh) 用于捕获和呈现多个音频声道的装置
US9311920B2 (en) Voice processing method, apparatus, and system
CN104135640A (zh) 会议迁移的方法、装置及系统
CN102893603A (zh) 一种视频会议的处理方法、装置和通信系统
CN104009991A (zh) 音频通信系统和方法
CN103533093B (zh) 一种基于声音的数据传输方法及系统
US20160066116A1 (en) Using single bitstream to produce tailored audio device mixes
CN101877643A (zh) 多点混音远景呈现方法、装置及系统
CN102457700B (zh) 音频数据传输方法及系统
CN105611219A (zh) 视频会议的处理方法及装置
CN114500130A (zh) 音频数据推送方法、装置、系统、电子设备及存储介质
CN105704423A (zh) 语音输出方法及装置
CN113037751A (zh) 创建音视频接收流的方法及系统
US11800017B1 (en) Encoding a subset of audio input for broadcasting conferenced communications
CN103905483A (zh) 音视频共享方法、设备和系统
CN106851217A (zh) 一种监控显示器的解码方法及系统
CN102833520A (zh) 一种视频会议信号处理的方法、视频会议服务器及系统
WO2019043719A1 (en) MOBILE SYSTEM FOR EXCHANGING MULTIMEDIA CONTENT

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 518129 Building 2, B District, Bantian HUAWEI base, Longgang District, Shenzhen, Guangdong.

Patentee after: Huawei terminal (Shenzhen) Co.,Ltd.

Address before: 518129 Building 2, B District, Bantian HUAWEI base, Longgang District, Shenzhen, Guangdong.

Patentee before: HUAWEI DEVICE Co.,Ltd.

CP01 Change in the name or title of a patent holder
TR01 Transfer of patent right

Effective date of registration: 20181218

Address after: 523808 Southern Factory Building (Phase I) Project B2 Production Plant-5, New Town Avenue, Songshan Lake High-tech Industrial Development Zone, Dongguan City, Guangdong Province

Patentee after: HUAWEI DEVICE Co.,Ltd.

Address before: 518129 Building 2, B District, Bantian HUAWEI base, Longgang District, Shenzhen, Guangdong.

Patentee before: Huawei terminal (Shenzhen) Co.,Ltd.

TR01 Transfer of patent right